DevOps Engineer

sc-bytes : 어플리케이션(웹 사이트)에서 클라이언트로 보낸 bytes. cs-bytes : 클라이언트에서 어플리케이션(웹 사이트)로 보낸 bytes. IIS로그 필드 중 sc-bytes와 sc-bytes는 웹 사이트와 클라이언트간 통신양(bytes)를 숫자로 표기한 것으로 웹 사이트의 성능을 분석하는 데 있어 중요한 데이터이다. 특히, On-premise가 아닌 클라우드 환경에서 웹 사이트를 서비스할 경우 sc-bytes는 아웃바운드 트래픽을 가늠하기에 좋은 지표이기 때문에(아웃바운드 트래픽 = 요금) 유심깊게 점검하는 편이 좋다. IIS 웹 로그를 pandas dataframe 만들기 import pandas as pd log_field = ['date', 'time', 's-sitename',..

SQLLite DB를 생성했다면 직접 DB에 접속해서 쿼리를 날려 분석할 수 도 있겠지만 pandas를 이용하여 연동도 가능하다 import pandas as pd import sqlite3 conn = sqlite3.connect(path) query = 'select * from weblog' df = pd.read_sql_query(query,conn) df['logtime'] = pd.to_datetime(df['logtime']) print(df.dtypes) ----------------------------------------------- logtime datetime64[ns] useragent object scstatus object scbytes int64 timetaken int64..

DB화가 되었으니 SQL쿼리문을 통해서 분석이 가능하다. # 2019년 6월 3일 9시 서버에서 보낸 용량 총합 import sqlite3 conn = sqlite3.connect(r'C:\log\weblog_sqlite3.db') c= conn.cursor() rows = c.execute('''select sum(scbytes) from weblog where logtime between '2019-06-03 09:00:00' and '2019-06-03 09:59:59' ''') for i in rows: print(i[0]) c.close() conn.close() ---------------------------------------------------------------------- 239..

이번 포스팅은 웹 로그 중 CIP(클라이언트 IP)를 이`용하여 국가식별을 하려고 한다. 국가식별을 하는 이유는 크게 2가지로 볼 수 있는데, 1. 국가별 인입 통계 2. 해외IP인입을 확인 및 차단하는 데 활용. (국내 서비스 일경우) 우선 GeoLite2 라는 국가DB를 다운받아서, CIP를 DB에 대입하여 국가정보를 추출하겠다. https://dev.maxmind.com/geoip/geoip2/geolite2/ GeoLite2 Free Downloadable Databases « MaxMind Developer Site GeoLite2 Free Downloadable Databases GeoLite Legacy databases were discontinued on January 2, 2019. L..