DevOps Engineer DevOps Engineer

(1) UTC시간 조정 (2) 국가식별 (3) 확장자 구분 (1) ~ (3) 까지 RAW로그를 이용해 추가로 분석할 데이터를 추출하는 방법을 알아보았다. 이제 Query를 이용해 분석할 수 있도록 몇개의 필드만 DB화 해보겠다. 변수 및 배열 필드 설명 logtime (logs[0] + logs[1]) logtime 시간 데이터 logs[12] useragent 응답코드 (200 / 404 / 500 등 분석) logs[16] scstatus 용량 (용랑 큰 컨텐츠 검색) logs[19] scbytes 인입 에이전트 검색 logs[21] timetaken 응답시간 (웹 사이트 응답시간) extention extention 확장자 (통계 및 불필요한 접근 검색) country country 국가식별 (국내..

cs-uri-stem 필드를 이용해 파일의 확장자를 분리할 수 있다. 확장자를 추출하여 할 수 있는 일은 1. 확장자 통계를 이용하여 IIS MIME에서 필요한 확장자만 식별 2. bak, sql, db, conf 와 같이 웹에서 노출되면 않되는 확장자들이 노출되는지 확인 fromdatetimeimportdatetime from datetime import timedelta import geoip2.database reader = geoip2.database.Reader('C:\DB\GeoLite2-city.mmdb') # path with open(r'C:\log\sample.log', encoding='utf-8', errors='replace') as f: lines = f.readlines() f..

이번 포스팅은 웹 로그 중 CIP(클라이언트 IP)를 이`용하여 국가식별을 하려고 한다. 국가식별을 하는 이유는 크게 2가지로 볼 수 있는데, 1. 국가별 인입 통계 2. 해외IP인입을 확인 및 차단하는 데 활용. (국내 서비스 일경우) 우선 GeoLite2 라는 국가DB를 다운받아서, CIP를 DB에 대입하여 국가정보를 추출하겠다. https://dev.maxmind.com/geoip/geoip2/geolite2/ GeoLite2 Free Downloadable Databases « MaxMind Developer Site GeoLite2 Free Downloadable Databases GeoLite Legacy databases were discontinued on January 2, 2019. L..

freesshd는 windows 서버를 ssh를 이용하여 접속할 수 있는 프로그램이다. 강력한 암호화 및 인증 기능을 제공하고, SFTP 서버에 연결하여 원격파일에 액세스 할 수도 있다. 다운로드 : http://www.freesshd.com/?ctt=download freeSSHd and freeFTPd - open source SSH and SFTP servers for Windows Downloads Here you can download the latest version of freeSSHd and freeFTPd. Please have in mind that you must have administrator privileges to install both applications. www.free..

slow query는 기본적으로 OFF로 되어 있으며, 10초로 세팅되어 있다. > show variables like 'slow_query_%' > show global variables like 'long_query_time%'; > set global slow_query_log = 'ON'; > set global slow_query_log_file ='/var/log/mariadb/slow-query.log'; > set global long_query_time = 5 > flush logs; 재기동해도 설정을 유지하려면 아래와 같이 /etc/my.cnf.d/server.cnf에 [mysqld] 안에 세팅해준다

cifs는 Common Internet File System의 약어. 파일 공유 프로토콜로 크로스 플랫폼간 네트워크 파일이나 서비스를 제공하며, 마이크로소프트의 SMB을 향상된 버전이며, 이번 포스팅은 CentOS에서 윈도우 공유폴더를 mount하는 방법을 알아보려 한다. CentOS 에서 윈도우 서버로 cifs 타입을 마운트하는 방법 - Widows Server PATH : \\192.168.1.29\share - CentOS mount point : /cifstest 명령어로 마운트 하는 방법은 아래와 같다. # mount -t cifs //192.168.1.29/share /cifstest/ -o username=user,password=password 그러면, 시스템이 재기동되어도 자동으로 부팅될..

시스템 로그 / 보안로그 / 웹로그를 분석하다보면 타임스탬프가 UTC시간이 표기될 때가 있다. 한국시간의 경우 UTC 에서 9시간을 더한 것과 같다. datetime 모듈의 timedelta 메소드를 이용하면 UTC시간을 변환할 수 있다. timedelta 메소드로 일/시/분/초까지 계산할 수 있으며, 양수는 과거, 음수는 미래를 계산한다. 로그 타임스탬프가 yyyy-mm-dd hh:mm:ss 형식일 경우 from datetime import datetime from datetime import timedelta timestring = '2018-09-15 00:01:14' logdate = datetime.strptime(timestring, '%Y-%m-%d %H:%M:%S') - timedelta(..

3부에서는 Grafana를 이용하여 그래프를 표현해보겠다. grafana mariadb 연결 : https://pydole.tistory.com/217 한대의 웹서버나 7일간 데이터를 샘플로 CPU, Memory, Network 를 그래프로 표현해보자 1. Network Traffic (Rev + Send) - 인아웃바운드 총 트래픽이 초당 Peak 일때는 100M - 정기적으로 평일 오전에 트래픽이 많음을 알 수 있다. - 초당 100M면 서버를 증설하여 분산하거나 트래픽이 큰 컨텐츠를 발견하여 줄이거나 제거하는 것이 좋다. 2. process time - 대체적으로 CPU 사용율은 25%를 넘기지 않는다. - 20일 오전 CPU가 살짝 올라왔으나 정상범주이다. 프로세스별 CPU 점유 모니터링이나 작업..