DevOps Engineer DevOps Engineer

DB의 결과값을 CSV로 저장할 필요가 있을 수도 있는데, 저장할 양이 많아질 수록 pandas를 이용하면 빠른 속도로 저장할 수 있다. 샘플 : 윈도우 성능 퍼포먼스 데이터 약 80만건 import pymysql print('start-time : ', str(datetime.now())[:19] ) def filewrite(): with open('mysql_output.csv', 'a') as f: f.writelines(text[:-1]+'\n') conn = pymysql.connect(host=' ', user=' ', password=' ' ,db=' ', charset='utf8') c = conn.cursor() sql = 'select * from perfomance_log where ..

이번 포스팅은 1부에서 명령어기반으로 구현한 ICMP 체크를 grafana 오픈소스를 이용해 시각화 모니터링을 구현해보겠다. - 모듈 : ping3 - 적재DB : mariadb mariadb DB 테이블 만들기 - logtime : ICMP를 체크한 현재 시간 → (str(datetime.now())[:19],site[0]) - host : ICMP 체크 대상 IP 주소 → (Site[0]) - pingstatus : 정상(0), 실패(1) → (ping status 정상 : 0, ping fail : 1) import time from datetime import datetime from ping3 import ping,verbose_ping import pymysql conn = pymysql.co..

파이썬 내장함수 - max(), min(), sum() max - 반복가능한 객체의 가장 큰 요소 값을 리턴 min - 반복가능한 객체의 가장 작은 요소 값을 리턴 sum - 반복가능한 객체의 요소 값의 합. (Default값 : 0) 1. 리스트, 튜플 정수값 리턴 a = [1,2,3,4,5] b = (1,2,3,4,5) print(max(a),max(b)) print(min(a),min(b)) print(sum(a),sum(b)) 5 5 1 1 15 15 2. sum()함수의 default값 조정 a = (1,2,3,4,5) print(sum(a,1)) 16 3. 리스트, 튜플 정수값 - 문자열 코드값으로 최대값, 최소값 리턴 a = ['a','b','c','d','e'] b = ('a','b','c..

서버와 스토리지를 운영하다 보면 디스크 용량이 부족하게 되고, 과거파일을 삭제하면서 공간을 확보할 수 있으면 좋겠지만.. 그렇지 못할 때에는 디스크 용량을 증설해야한다. python(파이썬)을 이용하여 디렉토리와 파일들을 DB화 할 수 있는데, DB를 이용하여 최근 5년간 증가한 파일용량과 파일 수를 분석해보자. DB는 sqlite3 파일DB를 이용 import sqlite3 import os from datetime import datetime outputFile = 'File.db' print(outputFile) conn = sqlite3.connect(outputFile) c = conn.cursor() c.execute('''create table fileinfo (filename VARCHAR..

시스템을 운영하다 보면 기본적으로 서버나 네트워크 장비 ICMP 핼스 체크를 지속적으로 해야하는데, python의 ping3 모듈을 이용하여 구현할 수 있다. 모듈 설치 : pip install ping3 소스설명 ​ 우선 프로그램이 pinglist.txt 파일에 ping check 해야하는 리스트를 기입한다. ​ 테스트IP를 설명하자면 203 IP서버는 네트워크가 단절되어 있고, #으로 시작하는 IP는 주석으로 인식하여 check 대상에서 제외된다. ​ IP 서버설명 10.x.x.201 Test_Server1 10.x.x.202 Test_Server2 10.x.x.203 Test_Server3 → 네트워크 단절 10.x.x.204 Test_Server5 10.x.x.205 Test_Server6 #10..

윈도우 서버를 운영하다보면 주기적으로 서버 성능을 분석해야 할 필요가 있다. 윈도우에는 성능모니터링이라는 좋은 유틸프로그램이 있는데, 이를 활용하여 데이터를 수집하고, 수집된 데이터를 DB화 하고, DB화한 데이터를 시각화해 보려 한다. 1. 윈도우즈 성능퍼포먼스 데이터 수집 샘플로 총 수집할 항목은 총 16개 - \Processor(_Total)\% Processor Time - \System\Processor Queue Length - \System\Context Switches/sec - \Memory\% Committed Bytes In Use - \Memory\Available MBytes - \Memory\Free System Page Table Entries - \Memory\Pool Non..

import pandas as pd import sqlite3 conn = sqlite3.connect(DB PATH) query = "select columns from table " df = pd.read_sql_query(query,conn)

mysql / maria DB 쿼리의 결과를 pandas의 dataframe으로 만들기 import pymysql import pandas as pd db = pymysql.connect( host=' ', port= , user=' ', password=' ', db=' ', charset='utf8' ) SQL = "select * from table" df = pd.read_sql(SQL,db) print(df)