DevOps Engineer

sc-bytes : 어플리케이션(웹 사이트)에서 클라이언트로 보낸 bytes. cs-bytes : 클라이언트에서 어플리케이션(웹 사이트)로 보낸 bytes. IIS로그 필드 중 sc-bytes와 sc-bytes는 웹 사이트와 클라이언트간 통신양(bytes)를 숫자로 표기한 것으로 웹 사이트의 성능을 분석하는 데 있어 중요한 데이터이다. 특히, On-premise가 아닌 클라우드 환경에서 웹 사이트를 서비스할 경우 sc-bytes는 아웃바운드 트래픽을 가늠하기에 좋은 지표이기 때문에(아웃바운드 트래픽 = 요금) 유심깊게 점검하는 편이 좋다. IIS 웹 로그를 pandas dataframe 만들기 import pandas as pd log_field = ['date', 'time', 's-sitename',..

(1) UTC시간 조정 (2) 국가식별 (3) 확장자 구분 (1) ~ (3) 까지 RAW로그를 이용해 추가로 분석할 데이터를 추출하는 방법을 알아보았다. 이제 Query를 이용해 분석할 수 있도록 몇개의 필드만 DB화 해보겠다. 변수 및 배열 필드 설명 logtime (logs[0] + logs[1]) logtime 시간 데이터 logs[12] useragent 응답코드 (200 / 404 / 500 등 분석) logs[16] scstatus 용량 (용랑 큰 컨텐츠 검색) logs[19] scbytes 인입 에이전트 검색 logs[21] timetaken 응답시간 (웹 사이트 응답시간) extention extention 확장자 (통계 및 불필요한 접근 검색) country country 국가식별 (국내..

cs-uri-stem 필드를 이용해 파일의 확장자를 분리할 수 있다. 확장자를 추출하여 할 수 있는 일은 1. 확장자 통계를 이용하여 IIS MIME에서 필요한 확장자만 식별 2. bak, sql, db, conf 와 같이 웹에서 노출되면 않되는 확장자들이 노출되는지 확인 fromdatetimeimportdatetime from datetime import timedelta import geoip2.database reader = geoip2.database.Reader('C:\DB\GeoLite2-city.mmdb') # path with open(r'C:\log\sample.log', encoding='utf-8', errors='replace') as f: lines = f.readlines() f..