DevOps Engineer DevOps Engineer

서버와 스토리지를 운영하다 보면 디스크 용량이 부족하게 되고, 과거파일을 삭제하면서 공간을 확보할 수 있으면 좋겠지만.. 그렇지 못할 때에는 디스크 용량을 증설해야한다. python(파이썬)을 이용하여 디렉토리와 파일들을 DB화 할 수 있는데, DB를 이용하여 최근 5년간 증가한 파일용량과 파일 수를 분석해보자. DB는 sqlite3 파일DB를 이용 import sqlite3 import os from datetime import datetime outputFile = 'File.db' print(outputFile) conn = sqlite3.connect(outputFile) c = conn.cursor() c.execute('''create table fileinfo (filename VARCHAR..

mysql / maria DB 쿼리의 결과를 pandas의 dataframe으로 만들기 import pymysql import pandas as pd db = pymysql.connect( host=' ', port= , user=' ', password=' ', db=' ', charset='utf8' ) SQL = "select * from table" df = pd.read_sql(SQL,db) print(df)

외부 타임서버과 NTP서버 와의 시간체크를 SMTP를 이용하여 메일로 송부하여 모니터링할 수 있다. 또한 결과를 웹이나 DB으로 송출하여 다양한 방법으로 모니터링이 가능하다. import ntplib from datetime import datetime import os from time import ctime import smtplib from email.mime.text import MIMEText timeServer = 'time.bora.net' c = ntplib.NTPClient() response = c.request(timeServer, version=3) boraTime = ctime(response.tx_time) localserverTime = datetime.now().ctime()..

NTP서버가 외부 타임서봐와 동기화가 잘 되는지 모니터링이 필요하다. 파이썬(Python)을 이용하여 간단하게 모니터링 프로그램을 만들겠다. 외부 타임서버는 'time.bora.net' 로 지정해보았다. import ntplib from datetime import datetime import os from time import ctime timeServer = 'time.bora.net' c = ntplib.NTPClient() response = c.request(timeServer, version=3) boraTime = ctime(response.tx_time) localserverTime = datetime.now().ctime() print(timeServer, ':', boraTime) pr..

Anaconda Install URL : https://www.anaconda.com/distribution/ Windows Download Click Next I Agree Next Next Add Aanaconda to my PATH environment variable check - Install GIT Install URL : https://git-scm.com/downloads Download 2.x.x for Windows Next ... Next 새폴더(작업폴더)를 만들고, 우클릭하여 "Git Bash Here" 클릭 명령어창 나오면 jupyter notebook을 입력 웹 페이지가 위와 같이 오픈되면 정상으로 연동완료

DB화가 되었으니 SQL쿼리문을 통해서 분석이 가능하다. # 2019년 6월 3일 9시 서버에서 보낸 용량 총합 import sqlite3 conn = sqlite3.connect(r'C:\log\weblog_sqlite3.db') c= conn.cursor() rows = c.execute('''select sum(scbytes) from weblog where logtime between '2019-06-03 09:00:00' and '2019-06-03 09:59:59' ''') for i in rows: print(i[0]) c.close() conn.close() ---------------------------------------------------------------------- 239..

(1) UTC시간 조정 (2) 국가식별 (3) 확장자 구분 (1) ~ (3) 까지 RAW로그를 이용해 추가로 분석할 데이터를 추출하는 방법을 알아보았다. 이제 Query를 이용해 분석할 수 있도록 몇개의 필드만 DB화 해보겠다. 변수 및 배열 필드 설명 logtime (logs[0] + logs[1]) logtime 시간 데이터 logs[12] useragent 응답코드 (200 / 404 / 500 등 분석) logs[16] scstatus 용량 (용랑 큰 컨텐츠 검색) logs[19] scbytes 인입 에이전트 검색 logs[21] timetaken 응답시간 (웹 사이트 응답시간) extention extention 확장자 (통계 및 불필요한 접근 검색) country country 국가식별 (국내..

cs-uri-stem 필드를 이용해 파일의 확장자를 분리할 수 있다. 확장자를 추출하여 할 수 있는 일은 1. 확장자 통계를 이용하여 IIS MIME에서 필요한 확장자만 식별 2. bak, sql, db, conf 와 같이 웹에서 노출되면 않되는 확장자들이 노출되는지 확인 fromdatetimeimportdatetime from datetime import timedelta import geoip2.database reader = geoip2.database.Reader('C:\DB\GeoLite2-city.mmdb') # path with open(r'C:\log\sample.log', encoding='utf-8', errors='replace') as f: lines = f.readlines() f..