DevOps Engineer

[ Python ] Python ORM sqlalchemy 이용한 DataFrame Data Insert

Pydole — Fri, 29 Sep 2023 22:39:19 +0900

SQLAlchemy 은 대표적인 파이썬 ORM 이다.

ORM이란 객체 관계 매핑(Object Relational Mapping)으로 데이터베이스 내의 테이블들을 객체화하여 각 DBMS에 대해서 CRUD (Create(생성), Read(읽기), Update(갱신), Delete(삭제)) 등 을 사용할 수 있다.

프로그램이 커지게 되면, SQL쿼리도 많아지게 되는 데, 반복되는 SQL 쿼리를 처리하기 유용하다.

1. 모듈설치

pip install pandas
pip install SQLAlchemy

2. 접속

import pandas as pd
from sqlalchemy import create_engine

# DataFrame 생성

df = pd.DataFrame(rows,columns=['Col_A','Col_B','Col_C','Col_D','Col_E','Col_F'])

# 컬럼은 DB컬럼과 동일

db_connection = 'mysql+pymysql://{user}:{password}@{host}/{database}'
db_connection = create_engine(db_connection)
conn = db_connection.connect()


df.to_sql(name='{table_name}', con=db_connection, if_exists='append',index=False)

# Databse Name : table_name

[ AWS ] Python boto3를 이용한 RDS 변경 가능한 인스턴스 타입 확인하기

Pydole — Thu, 15 Jun 2023 18:14:42 +0900

현재 Mysql 8.0.32에서 db.t3.medium 인스턴스를 운영하고 있고, AWS Graviton2 인스턴스로 변경 하려한다.

rds의 client.describe_orderable_db_instance_options 메소드를 이용하여 확인 가능하다.

import boto3

client = boto3.client('rds')

def OrderableDBInstance(Engine,EngineVersion,dbInstanceclass):
    response = client.describe_orderable_db_instance_options(
        Engine=Engine,
        EngineVersion=EngineVersion,
        DBInstanceClass=dbInstanceclass,
        MaxRecords=123)
        
    return response['OrderableDBInstanceOptions']

engine = 'mysql'
engineVersion = '8.0.32'
dbInstanceclass = 'db.t4g.medium'
storagetype = 'gp3'

for i in OrderableDBInstance(Engine,EngineVersion,dbInstanceclass):
    if i['StorageType'] == storagetype:
        print(i['DBInstanceClass'])
        
------------------------------------------------------------------------------
db.t4g.medium

Document : https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/neptune/client/describe_orderable_db_instance_options.html

describe_orderable_db_instance_options - Boto3 1.26.153 documentation

Previous describe_global_clusters

boto3.amazonaws.com

[ AWS ] Python boto3를 이용하여 ElastiCache Database 메모리 사용량 확인

Pydole — Wed, 31 May 2023 15:04:31 +0900

from datetime import datetime
from datetime import timedelta
import boto3

cloudwatch = boto3.client('cloudwatch')  

def elastiCache_Database_Memory():
    # 샘플 2023년 5월 1일 데이터
    
    st = datetime(2023,5,1,0,0,0) - timedelta(hours=9)
    et = st + timedelta(days=1)

    response = cloudwatch.get_metric_statistics(
            Namespace='AWS/ElastiCache',
            MetricName='DatabaseMemoryUsagePercentage',
            Dimensions=[
                { 
                 'Name': 'CacheClusterId',
                 'Value': 'string'},         # Cluster Node Name
                ],
            StartTime=st,
            EndTime=et,
            Period=3600,
            Statistics=['Average'],
            Unit='Percent')

    return response['Datapoints']

dct = {}

for i in elastiCache_Database_Memory():
    dct[i['Timestamp'] + timedelta(hours=9)] = round(i['Average'],2)
    # 출력되는 데이터는 한국시간으로 변환 UTC +0900

for k, v in sorted(dct.items()):
    print(str(k)[:19], v)

2023-05-01 00:00:00 0.32
2023-05-01 01:00:00 0.32
2023-05-01 02:00:00 0.32
2023-05-01 03:00:00 0.32
2023-05-01 04:00:00 0.32
2023-05-01 05:00:00 0.32
2023-05-01 06:00:00 0.32
2023-05-01 07:00:00 0.32
2023-05-01 08:00:00 0.32
2023-05-01 09:00:00 0.32
2023-05-01 10:00:00 0.32
2023-05-01 11:00:00 0.32
2023-05-01 12:00:00 0.32
2023-05-01 13:00:00 0.32
2023-05-01 14:00:00 0.32
2023-05-01 15:00:00 0.32
2023-05-01 16:00:00 0.32
2023-05-01 17:00:00 0.32
2023-05-01 18:00:00 0.32
2023-05-01 19:00:00 0.32
2023-05-01 20:00:00 0.32
2023-05-01 21:00:00 0.32
2023-05-01 22:00:00 0.32
2023-05-01 23:00:00 0.32

[ Python ] mp4 url 다운로드 후 다이렉트 S3 저장

Pydole — Thu, 25 May 2023 14:27:41 +0900

import requests as req
import boto3

s3 = boto3.client('s3')

def mp4_save_s3():
    url = 'url'                # mp4 download url
    key = 'test.mp4'
    bucket = 'bucketname'      # bucketname
    
    res = req.get(url)
    res = s3.put_object(Bucket=bucket, Body=res.content, Key=key)
    
    return res['ResponseMetadata']['HTTPStatusCode']

mp4_save_s3()

-------------------------------------------------------------

200

[ Python ] requests 모듈 다양한 이용

Pydole — Thu, 25 May 2023 11:05:20 +0900

설치 : pip install requests

1. Response Text. (Text 출력)

import requests

with requests.Session() as s:
	r = s.get(site)
	print(r.text)

2. Response Status Code. (응답코드 출력)

import requests

with requests.Session() as s:
	r = s.get(site)
	print(r.status_code)

3. Response Encoding. (Encoding 출력)

import requests

with requests.Session() as s:
   r = s.get(site)
   print(r.encoding)

4. Response Hearders. (Hearders 출력)

import requests

with requests.Session() as s:
   r = s.get(site)
   print(r.headers)

5. Response Json. (Json으로 응답)

import requests

with requests.Session() as s:
	r = s.get(site)
	print(r.json())

6. header에 referer 정보 포함하여 호출

import requests as req

url = 'url'
res = req.get(url, headers={'referer': 'referer-test'})
res

--------------------------------------------------------

<Response [200]>

Document : https://requests.readthedocs.io/en/latest/

Requests: HTTP for Humans™ — Requests 2.31.0 documentation

Requests: HTTP for Humans™ Release v2.31.0. (Installation) Requests is an elegant and simple HTTP library for Python, built for human beings. Behold, the power of Requests: >>> r = requests.get('https://api.github.com/user', auth=('user', 'pass')) >>> r.

requests.readthedocs.io

[ Python ] requests 모듈을 이용한 동영상 다운로드

Pydole — Thu, 25 May 2023 10:58:26 +0900

import requests as req

url = 'url'                              #  url ( mp4, png )

saveFile = url.split('/')[-1]    

res = req.get(url)

with open(savefile, 'wb') as f:
    f.write(res.content)

[ Python ] 정규식 이용한 IP address 마스킹(감추기) 하기

Pydole — Wed, 24 May 2023 17:21:48 +0900

정보보호를 목적으로 IP주소의 3번째 옥텟을 마스킹 처리해야 할 때, 정규식을 이용하여 마스킹 처리를 할 수 있다.

import re 

ipaddress = ('172.168.10.12', '192.168.2.11','192.168.114.12','11.12.0.14') 

p1 = re.compile(r"(\d+)[.](\d+)[.](\d+)[.](\d+)")

# 정규식 패턴과 추출할 그룹 지정. 3번째 옥텟  

for i in ipaddress: 
    m1 = p1.search(i)
    print(m1.group(1) + '.' + m1.group(2) + '.' + '***' + '.' + m1.group(4))
    
    

------------------------------------------------------------------------------

172.168.***.12
192.168.***.11
192.168.***.12
11.12.***.14

[ Python ] 리눅스 iostat 결과값 DataFrame만들고, csv 저장

Pydole — Wed, 24 May 2023 15:40:51 +0900

iostat : CPU통계와 디바이스와 IO통계를 출력해주는 유틸

tps	장치에서 초당 입출력 작업 수
kB_read/s	장치에서 초당 읽은(Read) 데이터 블록 (초당)
kB_wrtn/s	장치에서 초당 쓴(Write) 데이터 블록 (초당)
kB-read	장치에서 초당 읽은(Read) 데이터 블록
kB-wrtn	장치에서 초당 쓴(Write) 데이터 블록

[ 옵션 ]

-m MB단위로 표현

iostats명령어의 결과를 DataFrame으로 만들고, csv 파일로 export

import subprocess
from datetime import datetime
import time

def iostat_data():
    ps = subprocess.Popen(('iostat', '-m'), stdout=subprocess.PIPE)
    output = subprocess.check_output(('grep', 'nvme0n1'), stdin=ps.stdout)
    output = output.split()
    output = [ str(datetime.today())[:19] ] + [ x.decode()  for x in output ][1:]

    return output


data = []

for i in range(100):
    data.append(iostat_data())
    time.sleep(2)


import pandas as pd

df = pd.DataFrame(data, columns = ['timestamp','tps','kB_read/s','kB_wrtn/s','kB_read','kB_wrtn'])
print(df)
df.to_csv('output.csv')

iostat dataframe

[ Python ] Prometheus metric 값 가져오기

Pydole — Wed, 24 May 2023 13:56:49 +0900

Python을이용하여 promQL 쿼리하여 값 가져오기

Sample Metric : jvm_memory_used_bytes

import requests
from datetime import datetime

instance = '127.0.0.1:8080'
job = 'spring'
query = 'sum(jvm_memory_used_bytes{area="heap", instance="%s", job="%s"})' % (instance,job)

def prometheus_data(instance,jop,query):
    response = requests.get('http://127.0.0.1:9090/api/v1/query', params={'query': query})
    response = response.json()['data']['result']
    response = response[0]['value']
    
    return datetime.fromtimestamp(int(response[0])), int(response[1])
    # Unix TimeStamp는 datetime 모듈로 일반타임으로 변경 리턴
    
    
print(prometheus_data(instance,job,query))

--------------------------------------------------------------------------------------------

(datetime.datetime(2023, 5, 24, 13, 44, 14), 5207844864)

특정시간 때 Metric을 보고 싶을 때는,

import datetime
from datetime import timedelta

t = datetime.datetime.now(datetime.timezone.utc) - timedelta(days=1)

        ...... params={'query': query,'time':t.isoformat()}
   
        # 'time':RFC 3339 Format

Document : https://prometheus.io/docs/prometheus/latest/querying/api/

[ Python ] Linux 파일 (스토리지) 연도별 개수와 총 용량 구하기

Pydole — Wed, 24 May 2023 00:22:54 +0900

from os import walk
from os.path import getsize
from os.path import getmtime
from datetime import datetime
from os import chdir

chdir(path)

resultFile = 'result.csv'

for (path, dir, files) in walk('.'):
    for filename in files:
        ext = filename.split('.')[-1]
        size = getsize(path + '\\' + filename)
        mtime = str(datetime.fromtimestamp(getmtime(path + '\\' + filename)))[:19]

        lst = '#'.join([ path, filename, ext, str(size), str(mtime)+'\n' ])
        with open(resultFile, 'a') as f:
            f.writelines(lst)

import pandas as pd
import numpy as np
from datetime import datetime
from elasticsearch.helpers import bulk
from elasticsearch import Elasticsearch

es = Elasticsearch(hosts=' ',port=' ', timeout=600)
ix = 'filelist'

es.indices.create(index=ix)

data = pd.read_csv(filename
                   , engine='python'
                   , sep='#'
                   , header=None
                   , names=['path', 'filename', 'ext', 'size','mtime'])

data['mtime'] = pd.to_datetime(data['mtime'], format='%Y-%m-%d %H:%M:%S')
data['size'] = data['size'].astype(np.int)
documents = data.to_dict(orient='records')
bulk(es, documents, index=ix, doc_type='_doc')

[ Python ] pandas plot 을 이용한 다양한 graph 그리기

Pydole — Wed, 24 May 2023 00:01:35 +0900

Pandas의 plot 을 이용하여 그래프 그리기

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.rand(20,6), 
                  columns=['a','b','c','d','e','f'])

line graph

df.plot.line(figsize = (15,5))

bar graph

df.plot.bar(figsize = (15,5), grid=True)

area graph

df.plot.area(figsize = (15,5), xticks = (1,5,10,15,20), yticks = (1,2,3,4,5))

area graph ( Time index )

import numpy as np
import pandas as pd
from datetime import datetime
from random import randint

data = [[ randint(50,1000)  for x in range(4) ] for x in range(4) ]
ix = [ datetime(2023,5,randint(1,10)) for x in range(4) ]

df = pd.DataFrame(data,
                  columns=['a','b','c', 'd'],
                  index=ix)

df.plot.area(figsize=(10,5))

sctter graph

import numpy as np
import pandas as pd

x = [ x for x in range(100) ]
y = [ randint(50,100) for x in range(100) ]

df = pd.DataFrame(zip(x, y), columns=['x','y'])

df.plot.scatter(x='x',y='y',
                s = 100,
                c = 'red',
                alpha=0.3)

파일저장은 matplotlib savefig를 이용

import matplotlib.pyplot as plt

plt.savefig('scatter.png')  # png
plt.savefig('scatter.pdf')  # pdf

그래프에 대한 옵션은 Document 를 참고 하면 되겠다.

Document : https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.plot.html#

pandas.DataFrame.plot — pandas 2.0.1 documentation

sequence of iterables of column labels: Create a subplot for each group of columns. For example [(‘a’, ‘c’), (‘b’, ‘d’)] will create 2 subplots: one with columns ‘a’ and ‘c’, and one with columns ‘b’ and ‘d’. Remaining colum

pandas.pydata.org

[ Python ] socket 모듈을 이용한 Port open / close check

Pydole — Tue, 23 May 2023 17:49:17 +0900

import socket
from datetime import datetime
import time

checkTime = str(datetime.today())[:19]
ipadd = '127.0.0.1'   # IP Address, string
port = 80             # Port Number, interger

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.settimeout(5)

res = sock.connect_ex((ipadd, port))

text = str(port) + ' : ' + checkTime
print('Open ' + text if res == 0 else 'Close ' + text)


-------------------------------------------------------------

[ open ]

Open 22 : 2023-05-23 17:47:27



[ close ]

Close 80 : 2023-05-23 17:45:28

[ AWS ] Python boto3를 이용한 S3에 저장된 CSV 파일 읽기 / 쓰기

Pydole — Tue, 23 May 2023 14:56:50 +0900

CSV파일 S3에 다이렉트 저장하기

Sample : Pandas DataFrame ( 24 X 5 )

from io import StringIO
import boto3

s3 = boto3.client('s3')

bucket = 'string'        # Put Bucket Name
csv_buffer = StringIO()
df.to_csv(csv_buffer)
s3.put_object(Bucket=bucket, Body=csv_buffer.getvalue(), Key='df.csv')

S3에 저장되어 있는 CSV파일 다이렉트 읽기

import boto3
import pandas as pd
import io

s3 = boto3.client('s3')

bucket = 'string'
obj = s3.get_object(Bucket=bucket, Key="df.csv")
df = pd.read_csv(io.BytesIO(obj["Body"].read()))

CSV파일이나 정형화 되어 있는 Log 파일들을 S3로 바로 읽기/쓰기 바로바로 편집할 수 있다.

[ AWS ] Python boto3를 이용한 EC2 Instance 정보 구하기

Pydole — Mon, 22 May 2023 14:10:05 +0900

Python Boto3를 이용하여 EC2의 정보를 구해보자.

ISMS 등 자산관리 및 EC2의 기본적인 모니터링을 할 때도 유용하게 사용할 수 있다.

import boto3

ec2 = boto3.client('ec2')

def ec2_info_func():
    ec2_info = {}

    response = ec2.describe_instances()

    for reservation in response["Reservations"]:
        for i in reservation["Instances"]:
            for j in i['Tags']:
                # tagName이 없으면 'None'
                tagName = 'None'

                if j['Key'] == 'Name':
                    tagName = j['Value']
                
            ec2_info[i["InstanceId"]] = [tagName,i['InstanceType'],i['State']['Name']]


    return ec2_info

pandas를 이용하여 보기 편하게 HTML 형태로 Output 해보자.

import pandas as pd

ec2s = ec2_info_func()

df = pd.DataFrame(ec2s.values(),index=ec2s.keys(),columns = ['TagName','InstanceType','Runnung State'])
df.to_html('ec2_info.html')

더 많은 ec2 정보를 구하려면 response["Reservations"] 데이터에서 Network, 옵션 등의 값을 더 추출할 수 있다.

[ Python ] pandas DataFrame을 HTML 형식으로 export 하기. (모니터링 활용)

Pydole — Wed, 17 May 2023 18:22:16 +0900

pandas의 to_html 메소드를 이용하여 DataFrame 결과를 HTML 형식으로 output

kor, math, eng 3개 컬럼의 기본 DataFrame 만들기

kor = [99, 53, 56, 56, 81, 90, 67, 68, 83, 55]
math = [91, 77, 59, 70, 100, 67, 89, 55, 93, 99]
eng = [96, 92, 92, 65, 51, 92, 55, 60, 54, 51]

import pandas as pd

df = pd.DataFrame(zip(kor,math,eng), columns=['kor','math','eng'])
df

html = df.to_html()
print(html)

<table border="1" class="dataframe">
  <thead>
    <tr style="text-align: right;">
      <th></th>
      <th>kor</th>
      <th>math</th>
      <th>eng</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <th>0</th>
      <td>99</td>
      <td>91</td>
      <td>96</td>
    </tr>
    <tr>
      <th>1</th>
      <td>53</td>
      <td>77</td>
      <td>92</td>
    </tr>
    <tr>
      <th>2</th>
      <td>56</td>
      <td>59</td>
      <td>92</td>
    </tr>
    <tr>
      <th>3</th>
      <td>56</td>
      <td>70</td>
      <td>65</td>
    </tr>
    <tr>
      <th>4</th>
      <td>81</td>
      <td>100</td>
      <td>51</td>
    </tr>
    <tr>
      <th>5</th>
      <td>90</td>
      <td>67</td>
      <td>92</td>
    </tr>
    <tr>
      <th>6</th>
      <td>67</td>
      <td>89</td>
      <td>55</td>
    </tr>
    <tr>
      <th>7</th>
      <td>68</td>
      <td>55</td>
      <td>60</td>
    </tr>
    <tr>
      <th>8</th>
      <td>83</td>
      <td>93</td>
      <td>54</td>
    </tr>
    <tr>
      <th>9</th>
      <td>55</td>
      <td>99</td>
      <td>51</td>
    </tr>
  </tbody>
</table>

HTML파일로 생성해 보자. ( test.html )

df.to_html('test.html')

만약, test.html 파일로 계속 갱신하여 모니터링 하려하면 아래와 같이 첫 line에 refresh 태그를 추가해 준다.

text = '<meta http-equiv="refresh" content="10" >\n'

with open("test.html", "r+") as f:
    s = f.read()
    f.seek(0)
    f.write(text + s)

특정 컬럼만 필터

html = df.to_html(columns=['kor'])

컬럼 열 크기 변경

html = df.to_html(col_space=[100,100,200])

최대 출력 수 지정

html = df.to_html(max_rows=2)

Document : https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_html.html

pandas.DataFrame.to_html — pandas 2.0.1 documentation

next pandas.io.formats.style.Styler.to_html

pandas.pydata.org

[ AWS ] Python boto3를 이용하여 WAF IPset IP 수정하기

Pydole — Tue, 16 May 2023 17:28:06 +0900

Python Boto3를 이용한 WAF IPset에 IP Address 추가

* 하나의 IP를 추가/삭제는 않되기 때문에, 기존 IP 리스트를 가져와서 수정하는 것

import boto3

client = boto3.client('wafv2')

ipsetName = 'string'
ipsetId = 'string'
ipAddress = 'x.x.x./32'

def wafv2_update_ip_set(n,i,a):

    # ip가 포함되어 있는지 get_ip_set으로 확인
    response = client.get_ip_set(
            Name=n,
            Scope='REGIONAL',
            Id=i)

    if a in response['IPSet']['Addresses']:
        return 'exist ipaddress'
        
    else:
        # ip가 포함되어 있지 않으면 기존 IPset IP에 추가
        ipset_ipaddrs = response['IPSet']['Addresses']
        ipset_ipaddrs.append(a)
        
        response = client.update_ip_set(
                Name=n,
                Scope='REGIONAL',
                Id=i,
                Addresses=ipset_ipaddrs,             # list data
                LockToken=response['LockToken'])     # LockToken값은 get_ip_set에서 득한다.
                
        # 응답값 리턴 : 200 정상
        return response['ResponseMetadata']['HTTPStatusCode']

print(wafv2_update_ip_set(ipsetName,ipsetId,ipAddress))



200

정상적으로 추가되면, 200응답코드를 리턴해주고, 아래와 같이 추가된 IP와 함께 수정된다.

FastAPI와 같이 API로도 활용해도 괜찬겠다.

Document : https://boto3.amazonaws.com/v1/documentation/api/1.18.27/reference/services/wafv2.html#WAFV2.Client.update_ip_set

WAFV2 — Boto3 Docs 1.18.27 documentation

ResourceArn (string) -- [REQUIRED] The Amazon Resource Name (ARN) of the web ACL from which you want to delete the LoggingConfiguration .

boto3.amazonaws.com

[ Python ] csv 파일 읽고, 쓰기 ( pandas / csv 모듈 )

Pydole — Tue, 16 May 2023 14:08:09 +0900

데이터를 처리하다 보면 csv 파일 자주 만나게 되는데, Python pandas와 csv 모듈로 처리할 수 있다.

파이썬 pandas csv 파일 읽고, 쓰기

샘플데이터 : example.csv (UTF-8)

=============================

"Student","Math","Computer","English"

"인호",90,85,100

"철수",85,100,95

"영희",75,70,85

"민수",95,85,90

"지훈",100,85,95

"지영",90,85,90

"정희",95,85,95

=============================

pandas의 read_csv 메소드로 csv 파일 읽기

import pandas as pd

df = pd.read_csv(r'C:\Python\SC\example.csv')
print(df)

  Student  Math  Computer  English
0      인호    90        85      100
1      철수    85       100       95
2      영희    75        70       85
3      민수    95        85       90
4      지훈   100        85       95
5      지영    90        85       90
6      정희    95        85       95

names 옵션으로 컬럼명 지정하기

import pandas as pd

df = pd.read_csv(r'C:\Python\SC\example.csv', skiprows=[0], names=['학생', '수학', '컴퓨터', '영어'])
print(df)

* sample.csv의 경우 "Student","Math","Computer","English"이 포함되어 있기 때문에, skiprows로 제외

   학생   수학  컴퓨터   영어
0  인호   90   85  100
1  철수   85  100   95
2  영희   75   70   85
3  민수   95   85   90
4  지훈  100   85   95
5  지영   90   85   90
6  정희   95   85   95

pandas의 read_csv 메소드로 export

import pandas as pd

df = pd.read_csv(r'C:\Python\SC\example.csv', skiprows=[0], names=['학생', '수학', '컴퓨터', '영어'])
df.to_csv(r'C:\Python\SC\result.csv', index=False)

* index=False : index는 제외

import csv

f = open('sample.csv')
rows = csv.reader(f)
f.close

for row in rows:
    print(row)

['Student', 'Math', 'Computer', 'English']
['인호', '90', '85', '100']
['철수', '85', '100', '95']
['영희', '75', '70', '85']
['민수', '95', '85', '90']
['지훈', '100', '85', '95']
['지영', '90', '85', '90']
['정희', '95', '85', '95']

[ Python ] 리눅스 mpstat 유틸을 이용한 CPU Core별 통계 뽑기. (평균값, 최대값, 최소값)

Pydole — Sun, 14 May 2023 22:39:43 +0900

Datebase CPU Core 증설작업 후 Core별로 CPU가 모두 활동하는지 확인해볼 필요가 생겼다.

리눅스의 mpstat는 Core 별 사용량을 모니터링할 수 있다. 결과를 파일로 export 하고, Python을 하여 DataFrame화

하려 한다.

DataFrame 하게 되면 DB, NoSQL 등에 저장하여 통계적으로 활용할 수 있겠다.

목표 : 리눅스의 mpstat 유틸과 python을 이용하여 Core 별 통계 추출

mpstat 명령어를 이용한 데이터 수집 ( 파일 리다이랙션 )

# 1초간격으로 모든 CPU Core 사용량을 추출 (리눅스 명령)
# Output File : cpu_result_final.txt

mpstat -P ALL 1 >> cpu_result_final.txt

%usr은 어플리케이션에서 사용되는 CPU 사용율을 볼 수 있는데, 이 지표를 활용해 보기로 한다.

16core mpstat 실행 예

수집하고 시간만큼 파일에 저장하고, Python으로 전처리 한다.

# 파일을 열어 라인별로 리스트 변환
# readlines() : 라인별로 읽어 리스트로 변환하는 메소드

with open('cpu_result_final.txt') as f:
    lines = f.readlines()

# 공백을 split하여 리스트 요소가 13인 것만 추출 (CPU, all이 포함된 문자열은 제외)
# 사전 형태로 생성하는데, Core는 Key가 되고, %usr은 Value 값이 되어 리스트에 계속 append

dct = {}

for i in lines:
    i = i.split()
    
    if len(i) == 13:  
        if 'CPU' in i:
            pass
    
        elif 'all' in i:
            pass
    
        else:
            if i[2] not in dct:
                dct[i[2]] = [float(i[3])]
            else:
                dct[i[2]] += [float(i[3])]

# Option : DataFrame에서 소숫점 2자리 표현. (굳이 소숫점을 5자리 이상 길게 할 필요는 없다)
# 위에서 생성한 딕셔너리(dct)를 DataFrame으로 변환

import pandas as pd

pd.options.display.float_format = '{:.2f}'.format

dct = { 'cpu_' + x : y for x, y in dct.items() } 
df = pd.DataFrame(dct)
df

# 평균, 최대값, 최소값을 구해서 맨 마지막열에 추가
# 숫자 index 이름을 알맞게 변경



meanvalue = df.mean().to_dict()
df = df.append(meanvalue, ignore_index=True)

maxvalue = df.max().to_dict()
df = df.append(maxvalue, ignore_index=True)

minvalue = df.min().to_dict()
df = df.append(minvalue, ignore_index=True)

df = df.rename(index = {4720:'평균'})
df = df.rename(index = {4721:'최대값'})
df = df.rename(index = {4722:'최소값'})
df

[ Python ] 웹 서버 날짜 확인 하기

Pydole — Sun, 14 May 2023 13:35:19 +0900

header 정보에서 날짜 추출하기

import urllib.request

url = 'web domain'
date = urllib.request.urlopen(url).headers['Date']
print(date)


Sun, 14 May 2023 04:32:47 GMT

한국시간 GMT +0900으로 변경

from datetime import datetime
from datetime import timedelta

date = date.rstrip(' GMT')[5:]
date = datetime.strptime(date, '%d %b %Y %H:%M:%S') + timedelta(hours=9)
print(date)

2023-05-14 13:31:17

[ Python ] ntplib 모듈을 이용한 시간 동기화 점검

Pydole — Sun, 14 May 2023 13:22:15 +0900

ntplib 모듈설치

pip install ntplib

NTP서버와 로컬간의 offset 체크

import ntplib 
from time import ctime 

timeServer = 'time.windows.com'               # NTP Server Domain Or IP 
c = ntplib.NTPClient() 
response = c.request(timeServer, version=3) 
print('NTP Server Time과 Local Time과 차이는 %.2f s입니다.' %response.offset)

--------------------------------------------------------------------

NTP Server Time과 Local Time과 차이는 0.71 s입니다.

NTP 서버시간 타임 스탬프로 출력

import ntplib 
from time import ctime 

timeServer = 'time.windows.com'               # NTP Server Domain Or IP 
c = ntplib.NTPClient() 
response = c.request(timeServer, version=3) 
print(ctime(response.tx_time))



---------------------------------------------------------------------


Mon May 21 11:20:51 2018

[ Python ] numpy를 이용한 1차원 배열 2 차원 배열로 변환

Pydole — Fri, 12 May 2023 14:07:58 +0900

list 데이터를 처리하다 보면, 1차원 배열을 2차원 배열로 변경해야할 때가 있는데, numpy를 이용하면 쉽게

이용할 수 있다.

reshape : 데이터를 변동시키지 않고, 새로운 배열을 만든다.

import numpy as np

# 3 X 10

a = [ x for x in range(30) ]
a = np.array(a)

a = a.reshape(10,3) # (2차원 원소수, 원소당 갯수)

print(a)



array([[ 0,  1,  2],
       [ 3,  4,  5],
       [ 6,  7,  8],
       [ 9, 10, 11],
       [12, 13, 14],
       [15, 16, 17],
       [18, 19, 20],
       [21, 22, 23],
       [24, 25, 26],
       [27, 28, 29]])

# 5 X 6


a = a.reshape(6,5)
print(a)



[[ 0  1  2  3  4]
 [ 5  6  7  8  9]
 [10 11 12 13 14]
 [15 16 17 18 19]
 [20 21 22 23 24]
 [25 26 27 28 29]]

ndarray.tolist() : numpy array 형식을 list 형식으로

print(a.tolist())

-----------------------------

[[0, 1, 2], [3, 4, 5], [6, 7, 8], [9, 10, 11], [12, 13, 14], [15, 16, 17], [18, 19, 20], [21, 22, 23], [24, 25, 26], [27, 28, 29]]

[ AWS ] Python boto3를 이용하여 RDS Connections 데이터 추출 하기

Pydole — Thu, 11 May 2023 11:30:47 +0900

import boto3
from datetime import datetime
from datetime import timedelta

cloudwatch = boto3.client('cloudwatch')  

def rds_connections():
    StartTime = datetime(2023,5,1) - timedelta(hours=9)   
    # 한국시간에 맞게 -0900
    # 한국기준으로 5월 1일로 지정해줬기 때문에, UTC는 4월 30일 15시 데이터 추출한다.
    
    EndTime = StartTime + timedelta(days=1)


    response = cloudwatch.get_metric_statistics(
            Namespace='AWS/RDS',
            MetricName='DatabaseConnections',
            Dimensions=[
                { 
                 'Name': 'DBInstanceIdentifier',
                 'Value': 'string'},       # 추출할 RDS 식별자 Name을 넣어준다
                ],
            StartTime=StartTime,
            EndTime=EndTime,
            Period=600,
            Statistics=['Average'],
            Unit='Count')

    return response['Datapoints']

dct = {}

for i in rds_connections():
    dct[i['Timestamp'] + timedelta(hours=9)] = i['Average']
    # 출력되는 데이터는 한국시간으로 변환 UTC +0900

for k, v in sorted(dct.items()):
    print(str(k)[:19], v)

2023-05-01 00:00:00 90.0
2023-05-01 00:10:00 90.1
2023-05-01 00:20:00 90.0
2023-05-01 00:30:00 90.0
2023-05-01 00:40:00 90.0
2023-05-01 00:50:00 90.1
2023-05-01 01:00:00 90.0
2023-05-01 01:10:00 90.1
2023-05-01 01:20:00 90.1
2023-05-01 01:30:00 90.1
2023-05-01 01:40:00 90.1

...
...
...

2023-05-01 21:50:00 100.1
2023-05-01 22:00:00 100.1
2023-05-01 22:10:00 100.3
2023-05-01 22:20:00 100.0
2023-05-01 22:30:00 100.0
2023-05-01 22:40:00 100.1
2023-05-01 22:50:00 100.0
2023-05-01 23:00:00 100.1
2023-05-01 23:10:00 100.1
2023-05-01 23:20:00 100.0
2023-05-01 23:30:00 100.2
2023-05-01 23:40:00 100.0
2023-05-01 23:50:00 100.1

[ AWS ] Python boto3를 이용하여 ELB Metric 모니터링

Pydole — Wed, 10 May 2023 14:14:04 +0900

Python Boto3를 이용하여 ELB 2XX Count 통계를 추출해보고, 효율적으로 모니터링해보자.

메소드는 cloudwatch.get_metric_statistics이용하고, MetricName은 HTTPCode_Target_2XX_Count 을 사용하면 된다.

ELB 콘솔 cloudwatch에서도 아래지표와 같이 볼 수 있는데, 이 데이터를 Python으로 추출해보자

from datetime import datetime
from datetime import timedelta

cloudwatch = boto3.client('cloudwatch')  

elb = 'string'   # elb의 arn의 app이하 부분부터 넣어주면 된다.


def elb_2XX_Count(elb):
    response = cloudwatch.get_metric_statistics(
            Namespace='AWS/ApplicationELB',
            MetricName='HTTPCode_Target_2XX_Count',
            Dimensions=[
                {
                 'Name': 'LoadBalancer',
                 'Value': elb},
                ],
            StartTime=datetime.today() - timedelta(days=1),
            EndTime=datetime.today(),
            Period=300,                   # Second
            Statistics=['Sum'],
            Unit='Count')

    return response['Datapoints']

dct = {}


# 기본적으로 UTC로 추출되기 때문에, 서울시간으로 변경하고, 시간순으로 정렬한다.

for value in elb_2XX_Count(elb):
    dct[value['Timestamp'] + timedelta(hours=9)] = value['Sum']

for t, v in sorted(dct.items()):
    print(str(t)[:16], '\t', v )

600초 주기로 하였기 때문에, 5분 SUM 통계로 추출되어 진다.

2023-05-09 23:11 	 884.0
2023-05-09 23:16 	 771.0
2023-05-09 23:21 	 695.0
2023-05-09 23:26 	 623.0
2023-05-09 23:31 	 575.0
2023-05-09 23:36 	 564.0
2023-05-09 23:41 	 544.0
2023-05-09 23:46 	 489.0
2023-05-09 23:51 	 522.0
2023-05-09 23:56 	 438.0
2023-05-10 00:01 	 650.0

...
...
...

2023-05-10 13:11 	 381.0
2023-05-10 13:16 	 490.0
2023-05-10 13:21 	 524.0
2023-05-10 13:26 	 636.0
2023-05-10 13:31 	 798.0
2023-05-10 13:36 	 769.0
2023-05-10 13:41 	 643.0
2023-05-10 13:46 	 514.0
2023-05-10 13:51 	 596.0
2023-05-10 13:56 	 559.0
2023-05-10 14:01 	 840.0
2023-05-10 14:06 	 647.0

[ Python ] 날짜형식의 문자열 타입을 datetime 타입 형식으로 변환

Pydole — Wed, 3 May 2023 14:55:15 +0900

Database, logs 등 날짜형식 데이터를 Python으로 불러와서 처리할 때, 문자열로 저장되게 된다.

Python에서 날짜 데이터를 이용하여 그래프를 그리거나 연산을 하기 위해서는 형 변환이 필요하다.

datime.datetime.strptime : date 문자열을 datetime 형식으로 변환

from datetime import datetime

strtype = '2018-09-15 00:01:14'
print(type(strtype))

logdate = datetime.strptime(strtype, '%Y-%m-%d %H:%M:%S')
print(type(logdate))
print(logdate)


-------------------------------------------------------------------------------
<class 'str'> 
<class 'datetime.datetime'> 
2018-09-15 00:01:14

list comprehension 을 이용한 일괄 변경

from datetime import datetime

dates = ['2018-09-15 00:01:14','2018-09-16 00:01:14','2018-09-17 00:01:14','2018-09-18 00:01:14','2018-09-19 00:01:14',
         '2018-09-20 00:01:14','2018-09-21 00:01:14','2018-09-22 00:01:14','2018-09-23 00:01:14']

dates = [ datetime.strptime(x, '%Y-%m-%d %H:%M:%S') for x in dates ]



[datetime.datetime(2018, 9, 15, 0, 1, 14),
 datetime.datetime(2018, 9, 16, 0, 1, 14),
 datetime.datetime(2018, 9, 17, 0, 1, 14),
 datetime.datetime(2018, 9, 18, 0, 1, 14),
 datetime.datetime(2018, 9, 19, 0, 1, 14),
 datetime.datetime(2018, 9, 20, 0, 1, 14),
 datetime.datetime(2018, 9, 21, 0, 1, 14),
 datetime.datetime(2018, 9, 22, 0, 1, 14),
 datetime.datetime(2018, 9, 23, 0, 1, 14)]

비교 연산자를 이용하여 날짜 비교

datetime.today() > logdate
--------------------------------------
True


datetime.today() < logdate
--------------------------------------
False

과거와 미래날짜 구하기

from datetime import timedelta


# 전일 날짜 구하기
logdate - timedelta(days=1) 
------------------------------------
2018-09-14 00:01:14


# 10일후 날짜 구하기
logdate + timedelta(days=10)
------------------------------------
2018-09-25 00:01:14

Document

https://docs.python.org/3/library/datetime.html?highlight=strptime#datetime.datetime.strptime

datetime — Basic date and time types

Source code: Lib/datetime.py The datetime module supplies classes for manipulating dates and times. While date and time arithmetic is supported, the focus of the implementation is on efficient attr...

docs.python.org

[ AWS ] Python boto3를 이용하여 Target Group Health 모니터링

Pydole — Tue, 25 Apr 2023 12:31:38 +0900

import boto3

client = boto3.client('elbv2')                     

response = client.describe_target_health(
    TargetGroupArn='string'
)

for i in response['TargetHealthDescriptions']:
    print(i['TargetHealth']['State'])
    
-----------------------------------------------
healthy

. 비정상일 경우 : 'unhealthy', 'unused'

print(i['TargetHealth']['State'],i['TargetHealth']['Description'])
------------------------------------------------------------------
unhealthy Health checks failed

print(i['TargetHealth']['State'],i['TargetHealth']['Description'])
------------------------------------------------------------------
unused Target is in the stopped state

위와 같이 'State' 에서 상태 값으로 조건 테스트 후 ['Target']['Id'] 를 통하여 2차적인 액션을 취하면 될 것이다.

[ Python ] xml 타입의 데이터 json 으로 변경

Pydole — Mon, 24 Apr 2023 13:21:43 +0900

xmltodict 모듈설치

pip install xmltodict

xml sample

https://learn.microsoft.com/en-us/previous-versions/windows/desktop/ms762271(v=vs.85)

Sample XML File (books.xml)

Table of contents Sample XML File (books.xml) Article 10/27/2016 In this article --> The following XML file is used in various samples throughout the Microsoft XML Core Services (MSXML) SDK. Gambardella, Matthew XML Developer's Guide Computer 44.95 2000-10

learn.microsoft.com

xml 데이터를 dictionary (json) 타입으로 변경

import json
import xmltodict

with open('sample.xml', encoding='utf-8') as f:
    doc = xmltodict.parse(f.read())
                          
json_data = json.loads(json.dumps(doc))
print(json_data)

----------------------------------------------------------------

{'catalog': {'book': [{'@id': 'bk101',
    'author': 'Gambardella, Matthew',
    'title': "XML Developer's Guide",
    'genre': 'Computer',
    'price': '44.95',
    'publish_date': '2000-10-01',
    'description': 'An in-depth look at creating applications \n      with XML.'},
   {'@id': 'bk102',
    'author': 'Ralls, Kim',
    'title': 'Midnight Rain',
    'genre': 'Fantasy',
    'price': '5.95',
    'publish_date': '2000-12-16',
    
 .............
 .............

[ Python ] difflib 모듈 ( 문자열 비교, 유사도 )

Pydole — Mon, 24 Apr 2023 11:42:28 +0900

difflib.SequenceMatcher ( 유사도 )

from difflib import SequenceMatcher

def similar(a, b):
    return round(float(SequenceMatcher(None, a, b).ratio()),2) * 100

print(similar('서울시 강남구','서울시 영등포구 '))

-----------------------------------------------------------------------

62.0

difflib.context_diff ( 문자열 목록 비교 )

samplefile_1.txt	samplefile_2.txt
1 파이썬 2 python 3 iz 4 beautiful	1 파이선 2 python 3 is 4 beautiful 5 6 diff

from difflib import context_diff

with open('samplefile_1.txt', 'r') as f1:
    with open('samplefile_2.txt', 'r') as f2:
        diff = context_diff(f1.readlines(), f2.readlines(), fromfile='f1', tofile='f2')
        for line in diff:
            print(line)
            
------------------------------------------------------------------------------------------
*** f1 

--- f2 

*************** 

*** 1,4 **** 

! 파이썬 

  python 

! iz 

  beautiful 

--- 1,6 ---- 

! 파이선                    # file1과 file2 1 line 다른점

  python 

! is                        # file1과 file2 3 line 다른점

  beautiful 

+  
                            # file2만 있는 내용
+ diff                      # file2만 있는 내용

[ Python ] elastcisearch index 생성, 삭제, 조회

Pydole — Fri, 14 Apr 2023 13:27:27 +0900

Python ElasticSearch

from elasticsearch import Elasticsearch

es = Elasticsearch('http://127.0.0.1:9200')
ix = ix_name        # string

Search All Index

for index in es.indices.get('*'):
    print(index)

Create Index

# 3 shards, 1 replicas

body={"settings" : {"index" : {"number_of_shards" : 3,"number_of_replicas" : 1 }}}
res = es.indices.create(index=ix, body=mapping)
print(res)

-----------------------------------------------------------------------------------
True or False

Index Exists

res = es.indices.exists(index=ix)
print(res)

-------------------------------------------------
True or False

Delete Index

res = es.indices.delete(index=ix, ,ignore=[400, 404])
print(res)

-------------------------------------------------
True or False

[ Python ] Remine API 사용하기

Pydole — Tue, 21 Mar 2023 14:49:52 +0900

Redmine Python을 이용하면 일감관리, 노트관리, 뉴스 등을 자동화하거나 다른 서비스와 연동할 수 있다.

모듈설치

pip install python-redmine

접근방법은 "User / Password"와 "API Key" 인증 2가지가 있다. API Key를 허용하는 방법은 글 하단에 표기하였다.

redmine = Redmine('url', username=' ', password=' ')

redmine = Redmine('url', key=' ')

신규 일감(Issue) 생성하기

from redminelib import Redmine
import datetime

redmine = Redmine('url', key=' ')

issue = redmine.issue.create(
    project_id=' ',     # 필수
    subject=' ',        # 필수
    description='',     # 옵션
    start_date = datetime.date(2023,4,13),  # 옵션
    due_date = datetime.date(2023,4,14))    # 옵션
    uploads = [{'path': /dir/uploadfile,'filename':uploadfile}])

노트(Note) 업데이트

from redminelib import Redmine

def remine_job(job_num,msg):
    redmine = Redmine('url', key='')
    issue = redmine.issue.update(job_num, notes=msg)

    return issue

msg = '''
Note Test
'''

remine_func(job_num,msg)  # job_num (int)

뉴스(News) 업데이트

from redminelib import Redmine

def remine_func(subject,msg):
    redmine = Redmine('url', key=' ')
    news = redmine.news.create(project_id=' ', title=subject, description=msg)    
    return news

subject = '[NEWS] Test'
msg = '''
New Test
'''

API 허용하는 방법

Reference

https://pypi.org/project/python-redmine/

python-redmine

Library for communicating with a Redmine project management application

pypi.org

https://python-redmine.com/index.html

Python-Redmine — Python-Redmine documentation

Python-Redmine Python-Redmine is a library for communicating with a Redmine project management application. Redmine exposes some data via REST API for which Python-Redmine provides a simple but powerful Pythonic API inspired by a well-known Django ORM: >>>

python-redmine.com

[ AWS ] Python boto3를 이용하여 S3 object 스토리지 클래스 변경

Pydole — Tue, 21 Mar 2023 10:41:06 +0900

Python boto3를 이용하여 특정 object의 클래스를 변경해 보자.

# STANDARD →  STANDARD_IA 클래스 변경

import boto3

s3 = boto3.client('s3')

bucket_name=' '
object_key = ' '

res = s3.copy_object(
    CopySource=f"{bucket_name}/{object_key}",
    Bucket=bucket_name,
    Key=object_key,
    StorageClass='STANDARD_IA')
    
print(res)

아래와 같이 스토리지 클래스가 변경되었다.