DevOps Engineer DevOps Engineer

import pandas as pd lst_A = ['banana 3','apple 5','orange 6','mango 7'] df = pd.DataFrame(lst_A, columns=['text']) df df['fruit'] = df.text.str.split(' ').str[0] df['count'] = df.text.str.split(' ').str[1] df

Version : 7.5.2 인덱스를 생성할 때, shards(샤드)와 replicas(레플리카)를 세팅하지 않으면 기본적으로 1:1로 세팅된다. 아래와 같이 마스터 2노드, 데이터 3노드로 클러스터를 지정하였지만, 세팅하지 않고 넣었을 시 자동으로 분산되지 않는 것을 볼 수 있다. index를 생성할 때, shards(샤드)와 replicas(리플리카)를 세팅할 수 있으며, 아래와 같이 3:2로 세팅을 해본다. PUT /index_test { "settings" : { "index" : { "number_of_shards" : 3, "number_of_replicas" : 2 } } } 정상적으로 index가 생성되었고, 아래와 같이 각 노드에 샤드 1, 레플리카 2개 생성되었다. elaelastics..

fillna()은 "NaN" 값만을 변환. "NaN" 값만 처리할 경우 fillna()를 쓰면 되겠다. fillna()를 이용하여 "NaN" 값을 0 (Zero) 으로 대체 import pandas as pd import numpy as np list_A = [1, 2, 3, 4, np.nan, 6, 0 ] df = pd.DataFrame(list_A, columns=['value']) print(df['value']) df['value'] = df['value'].fillna(0) print(df['value']) ---------------------------------------------- 0 1.0 1 2.0 2 3.0 3 4.0 4 NaN 5 6.0 6 0.0 Name: value, dtyp..

Pandas Dataframe에서 URL Decode from urllib.parse import unquote import pandas as pd example = ['%EC%95%88%EB%85%95%ED%95%98%EC%84%B8%EC%9A%94', '%EC%95%84%EB%A6%84%EB%8B%B5%EB%84%A4%EC%9A%94', '%ED%8C%8C%EC%9D%B4%EC%8D%AC'] df = pd.DataFrame(example, columns=['url']) # URL Decode df['url'] = df.url.apply(lambda x : unquote(x)) print(df) ------------------------------------------------------------..

Python을 이용하여 Elasticsearch로 Bulk insert import pandas as pd from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk # Datetime, String, Interger Example Dataframe listDate = ['2020-01-01 00:00:00','2020-01-01 00:01:00','2020-01-01 00:02:00', '2020-01-01 00:03:00'] listStrings = ['a','b','c','d'] listInterger = [1, 2, 3, 4 ] df = pd.DataFrame([ x for x in zip(listDate,listS..

MariaDB Table Space Show Query SELECT table_schema, SUM(data_length+index_length) as Byte FROM information_schema.tables GROUP BY table_schema ORDER BY Byte DESC Using pymysql import pymysql conn = pymysql.connect(host=' ', port= , user=' ', password=' ', db=' ',charset='utf8') c = conn.cursor() sql = ''' SELECT table_schema, SUM(data_length+index_length) as Byte FROM information_schema.tables G..

원격지IP 10.10.x.1에 접속하는 user1 (A_database의 모든 권한) GRANT ALL PRIVILEGES ON [A_database].* TO '[user1]'@'10.10.x.1' IDENTIFIED BY '[password]' flush privileges; 원격지IP 10.10.x.1에 접속하는 user1 (A_database의 select 권한) GRANT SELECT ON [A_database].* TO '[user1]'@'10.10.x.1' IDENTIFIED BY '[password]' flush privileges;

/etc/my.cnf.d/server.cnf 파일에서 [mysqld] 섹션에 port=변경할포트 SElinux가 활성화 되어 있다면 포트추가 # semanage port -a -t mysqld_port_t -p tcp [변경할포트] # semanage port -l | grep mysqld_port_t mysqld_port_t tcp [변경할포트], 1186, 3306, 63132-63164 방화벽 설정이 되어 있다면, 방화벽을 추가하고, 데몬을 재기동