DevOps Engineer

Subnet 사용가능한 IP 갯수 보기 $ aws ec2 describe-subnets \ --subnet-ids subnet-xxxxxxxxx \ # 조회하고자는 Subnetid --query "Subnets[0].AvailableIpAddressCount" ----------------------------------------------- 118

- 운영체제 : Amazon Linux2 1. jmx_prometheus_javaagent-0.16.1.jar 다운로드 및 config (openJDK 1.8이고, 현재버전은 0.16.1) https://github.com/prometheus/jmx_exporter GitHub - prometheus/jmx_exporter: A process for exposing JMX Beans via HTTP for Prometheus consumption A process for exposing JMX Beans via HTTP for Prometheus consumption - GitHub - prometheus/jmx_exporter: A process for exposing JMX Beans via HTTP..

1. 기본 bar 그래프 그리기 import pandas as pd month = [ 'Jan','Feb','Mar','Apr','May','Jun','Jul','Aug','Sep','Oct','Nov','Dec' ] data = { "Banana":[52, 83, 82, 53, 99, 94, 83, 74, 87, 70, 63, 74], "Orange":[99, 71, 77, 57, 87, 50, 59, 58, 63, 76, 51, 88], "mango":[50, 71, 93, 82, 70, 58, 55, 97, 76, 52, 97, 83], } df = pd.DataFrame(data,index=month) df.plot(kind="bar",figsize=(15,10)) 2. 스택그래프를 그리려면, s..

S3 고용량 파일을 전송할 때, 리소스를 사용하게 되는데, CPU를 과도하게 점유하게 되면, 옵션을 통해 조정이 가능하다. 테스트 환경은 t2.small로 해본다. 우선 테스트용 고용량 파일 준비 (fallocate 명령어를 활용) $ fallocate -l 25g test_file .... .... 26843545600 Feb 27 16:09 test_file 옵션설정을 하지 않고, 기본적으로 전송해본다. 약 14분 소요되었고, CPU의 경우 특정구간에서 100%를 사용하였다. max_concurrent_requests (CPU 스레드 조정) - 기본값 : 10 - 이 값을 낮추면 S3 전송 명령이 리소스를 덜 사용하지만, S3 전송을 완료하는 데 시간이 오래 걸릴 수 있다. - 설정방법 # 기본프로필..

백업 등 특정 파일을 가지고 테스트를 해볼 때, fallocate 명령어는 유용하게 사용할 수 있다. 생성된 파일내용은 없으며, 크기만 할당된다. 1. 10Byte 크기의 파일을 생성하기 $ fallocate -l 10 file # -l : 지정한 크기만큼의 용량의 파일 만들기 (Byte) $ ls -l file .... .... 10 Feb 27 15:30 file $ fallocate -l 10k file # 10 kilo Bytes $ fallocate -l 10m file # 10 Mega Bytes $ fallocate -l 10g file # 10 Giga Bytes

1. S3 my-bucket 파일 삭제 import boto3 s3 = boto3.resource('s3') bucket = s3.Bucket('my-bucket') s3.Object('my-bucket', i.key).delete() 2. S3 my-bucket 파일명 'A'를 포함하는 파일 삭제 import boto3 s3 = boto3.resource('s3') bucket = s3.Bucket('my-bucket') for i in bucket.objects.all(): if 'A' in i.key: s3.Object('my-bucket', i.key).delete()

import boto3 s3 = boto3.resource('s3') bucket = s3.Bucket('mybucket') sizes = 0 for i in bucket.objects.all(): sizes += i.size print(sizes) Output : 7929413

보안상 키생성 일자가 오래 되거나 변경해야 할 사유가 종종있다. 1. AWS 새로운 키페어를 생성하고 변경할 EC2 로그인 2. 아래와 같이 다운로드 받은 키 파일을 열어서 .ssh/authorized_keys 수정 ssh-rsa [ Public-Lines ] [ Comment ] * 붙여넣을 때, 줄바꿈없이 한줄로 이어 붙여야 한다. * 변경 후 접속이 않되면, root 볼륨 작업을 해야 하니 접속 세션을 유지하고 새로운 인증키를 추가를 하고, 로그인 테스트를 해보고, 기존키는 삭제 하는 것이 좋다.

AWS 인프라를 관리하면서, EC2의 보안그룹을 정기적으로 점검해야 할 필요가 있어 AWS Boto3를 이용하여 간단히 구현해 보려 한다. 보안그룹이 많아지면, 콘솔창으로는 점검하는 시간 소요는 얼마나 아까운지 모르겠다. 간단한 예로, 인바운드 Any로 오픈된 포트를 점검해보려한다. IAM 권한은 최소화의 원칙에 맞게 EC2ReadOnlyAccess 권한만 부여하자. 보안점검으로 소스주소 0.0.0.0/0을 기준으로 점검하였지만, 키 값을 이용하여 활용하면 될 것이다. import boto3 from botocore.exceptions import ClientError ec2 = boto3.client('ec2') def sg_check(): response = ec2.describe_security_g..

1. node_exporter 다운로드 ( 다운로드 ) wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz tar xvfz node_exporter-1.3.1.linux-amd64.tar.gz 2. Prometheus.yml 추가 - job_name: "node_exporter" static_configs: - targets: ["x.x.x.x:9100"] * 보안그룹이나 방화벽에서 9100포트 오픈 3. 서비스 기동 nohup ./node_exporter 1>/dev/null 2>&1 & Prometheus에서 Status > Targets 에서 상태를 ..