[ AWS ] Python boto3를 이용한 S3에 저장된 CSV 파일 읽기 / 쓰기

 

 

CSV파일 S3에 다이렉트 저장하기

 

 

 

 

Sample : Pandas DataFrame ( 24 X 5 )

 

 

 

 

from io import StringIO
import boto3

s3 = boto3.client('s3')

bucket = 'string'        # Put Bucket Name
csv_buffer = StringIO()
df.to_csv(csv_buffer)
s3.put_object(Bucket=bucket, Body=csv_buffer.getvalue(), Key='df.csv')

 

 

 

 

---

 

 

S3에 저장되어 있는 CSV파일 다이렉트 읽기

 

import boto3
import pandas as pd
import io

s3 = boto3.client('s3')

bucket = 'string'
obj = s3.get_object(Bucket=bucket, Key="df.csv")
df = pd.read_csv(io.BytesIO(obj["Body"].read()))

 

 

CSV파일이나 정형화 되어 있는 Log 파일들을 S3로 바로 읽기/쓰기 바로바로 편집할 수 있다.