Lecture

[강의Lab] 파이썬을 이용한 데이터 기반 합리적 의사 결정 - 스토리지 시계열 용량분석

Pydole 2020. 4. 1. 17:03

 

스토리지를 관리하다 보면 급격히 늘어나는 용량 때문에 증설 및 교체을 고민할 때가 있다. 

 

 

 

용량 얼마나 필요한 것인가?

 

도입하면 몇 년을 사용할 수 있을 것인가?

 

 

 

disk space utilization

 

 

 

디렉토리와 파일을 DB화 할 수 있다면, 데이터를 근거로 하여 합리적인 의사 결정을 할 수 있다.

 

파이썬 프로그래밍을 이용하여 데이터 분석을 해보자.

 

 

실제 파일을 읽으면서 디스크 I/O가 발생할 수 있으니 되도록 백업본이 있다면 백업 파일시스템에서 활용하도록 하자

 

 


 

아래의 모듈을 활용하여 디렉토리와 파일을 정보를 수집하고, DataFrame을 만든다

 

모듈 수집 데이터
os.path.getmtime 파일의 수정시간
os.path.getsize 파일 용량 (Byte)
os.walk 파일경로와 파일명 수집
pandas 디렉토리와 파일 정보를 DataFrame

 

 

 

디렉토리 파일 DataFrame

 

샘플 파일시스템은 약 파일 수가 약 21만개

 

 

pandas를 이용하여 생성일자를 기준으로 시계열로 분석이 가능

 


 

 

연 단위 용량 합

 

 

 

월 단위 용량 합

 

 

 

주 단위 용량 합

 

 

 

 

 이 처럼 데이터를 근거로 하여 스토리지가 용량이 어떻게 사용되고 있는지 데이터에 근거하여 알 수 있고, 향후 증설 등을 고려할 때, 참고할 수 있는 정확한 지표로 사용할 수 있다.