DevOps Engineer DevOps Engineer

리눅스 파일시스템 용량이 넉넉하면 괜찬지만 지속적인 용량관리가 필요하다면 로그를 압축보관할 필요가 있다. 이번 포스팅은 엑세스 로그가 일 단위로 생성되면, 전일(yesterday) 로그를 자동으로 백업할 수 있는 간단한 쉘 스크립트를 알아보겠다. date명령어를 이용하여 전일 날짜를 출력 date명령어의 -d 옵션을 이용하여 전일 날짜 출력. (현재일 2019년 10월 16일 기준) # date -d 'yesterday' Tue Oct 15 07:37:07 EDT 2019 로그포맷(yyyy-dd-mm)에 맞게 출력 # date +%Y'-'%m'-'%d -d 'yesterday' 2019-10-15 로그포맷에 맞는 gzip 압축 명령어 완성하기 대상파일 : localhost_access_log.2019-1..

- Access Log의 날짜 필드 활용 (24/Jul/2019:23:50:53) 정규식으로 표현 '[0-3][0-9]/.../2019:[0-2][0-9]' - uniq -c 명령어를 이용해 반복되는 라인을 카운트 grep -o '[0-3][0-9]/.../2019:[0-2][0-9]' localhost_access_log.2019-09-05.txt | uniq -c 1415 05/Sep/2019:00 2084 05/Sep/2019:02 2040 05/Sep/2019:03 1902 05/Sep/2019:04 1376 05/Sep/2019:05 1 05/Sep/2019:06 1 05/Sep/2019:07 2062 05/Sep/2019:08 15715 05/Sep/2019:09 19030 05/Sep/201..

Homepage : https://github.com/fordmason/cronolog 아파치 로그(httpd)를 cronolog를 이용하여 날짜별로 관리해주는 유틸이다. 웹 서비스를 체계적으로 분석하기 위해서는 우선 로그를 잘 적재할 필요가 있다. # yum install cronolog 설치가 않된다면 " yum install epel-release " # Extra Packages for Enterprise Linux 저장소 설치 # find / -name cronolog [ 프로그램 설치 확인 ] /usr/sbin/cronolog # vi /etc/httpd/conf/httpd.conf CustomLog "|/usr/sbin/cronolog /var/log/httpd/%Y/%m/%Y-%m-%d-a..

access log 파일이나 한글 URL경로를 보면 한글이 유니코드로 표기되어 있다. python으로 이를 한글로 쉽게 변환이 가능하다. from urllib.parse import unquote_plus site = '.com/%EA%B3%A0%EB%93%B1-%EC%98%81%EC%96%B4' searchword = unquote_plus(site, encoding='utf-8', errors='replace') print(searchword) ------------------------------------------------------------------- .com/고등-영어