[ AWS ] S3 용량과 객체수 모니터링 (s3api와 python)

 

 

s3api 명령어를 이용하여 특정 버킷의 용량과 객체 수를 추출

 

 

Input :

 

aws s3api list-objects --bucket '버킷명' --output json --query '[sum(Contents[].Size), length(Contents[])]'

 

 

Output :

 

[
    11,
    9
]

 

---

 

Python을 이용하여 

 

InPut :

 

 

import subprocess
import re
from datetime import datetime

bucketname = '버킷명'

command = "aws s3api list-objects --bucket '%s' --output json --query '[sum(Contents[].Size), length(Contents[])]'" %bucketname

# bytes 객체를 String으로 변경
result = subprocess.check_output(command, shell=True).decode()

# 시계열을 사용하기 위해 logtime을 추가하여 딕셔너리로 형태로 저장
result = { str(datetime.today()) : [bucketname] + [ int(x) for x in re.findall(r'\d+', result)] }

print(result)

 

 

Output :

 

{'2021-11-21 23:28:17.165307': ['버킷명', 23255, 30]}

 

 

---

S3권한은 ReadOnlyAccess 정도만.

 

 

 

 

https://docs.aws.amazon.com/cli/latest/reference/s3api/list-objects.html

list-objects — AWS CLI 1.22.10 Command Reference