DevOps Engineer

크롬 브라우져 확장브라우저 - 크롬 웹 스토어 - ElasticSearch head 를 설치

elasticserch에 데이터를 넣으면 UUID를 이용하여 자동으로 생성해주지만 실제 RDB와 연동하여 사용할 경우 ID를 PK과 값과 같이 관리할 일이 있다. Sample Dataframe import numpy as np import pandas as pd from datetime import datetime from elasticsearch import Elasticsearch from elasticsearch import helpers productId = ['AAA001', 'AAA002', 'AAA003' , 'AAA004', 'AAA005'] price = [15000, 11000, 21000, 25000, 14500] soldDay = [datetime(2020, 1, 2, 0, 0), ..

python elasticsearch API from elasticsearch import Elasticsearch es = Elasticsearch(hosts=' ',port=' ') cluster status print(es.cluster.health()['status']) green - green : 모든 샤드가 정상 - yellow : 프라이머리 샤드에는 할당되었지만 리플리카 샤드는 정상적으로 할당 되지 않음 - red : 일부 프라이머리 샤드가 클러스터에 정상적으로 할당되지 않음 cluster timed_out print(es.cluster.health()['timed_out']) False cluster unassigned_shards print(es.cluster.health()['unass..

Version : 7.5.2 인덱스를 생성할 때, shards(샤드)와 replicas(레플리카)를 세팅하지 않으면 기본적으로 1:1로 세팅된다. 아래와 같이 마스터 2노드, 데이터 3노드로 클러스터를 지정하였지만, 세팅하지 않고 넣었을 시 자동으로 분산되지 않는 것을 볼 수 있다. index를 생성할 때, shards(샤드)와 replicas(리플리카)를 세팅할 수 있으며, 아래와 같이 3:2로 세팅을 해본다. PUT /index_test { "settings" : { "index" : { "number_of_shards" : 3, "number_of_replicas" : 2 } } } 정상적으로 index가 생성되었고, 아래와 같이 각 노드에 샤드 1, 레플리카 2개 생성되었다. elaelastics..

Python을 이용하여 Elasticsearch로 Bulk insert import pandas as pd from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk # Datetime, String, Interger Example Dataframe listDate = ['2020-01-01 00:00:00','2020-01-01 00:01:00','2020-01-01 00:02:00', '2020-01-01 00:03:00'] listStrings = ['a','b','c','d'] listInterger = [1, 2, 3, 4 ] df = pd.DataFrame([ x for x in zip(listDate,listS..

- CentOS 7 - Version : Auditbeat - OSS - Docs : https://www.elastic.co/guide/en/beats/auditbeat/6.0/auditbeat-installation.html Auditbeat RPM 다운로드 & 설치 # curl -L -O https://artifacts.elastic.co/downloads/beats/auditbeat/auditbeat-oss-7.0.0-x86_64.rpm # rpm -vi auditbeat-oss-7.0.0-x86_64.rpm # vi /etc/auditbeat/auditbeat.yml host: "localhost:5601" 주석해제 # systemctl start auditbeat Kibana Index Cre..

- CentOS 7 - Version : Elasticsearch 7.0 - OSS - Elasticsearch Docs : https://www.elastic.co/guide/en/elasticsearch/reference/current/rpm.html - kibana Docs : https://www.elastic.co/guide/en/kibana/current/rpm.html Elasticsearch RPM 다운로드 & 설치 # wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-oss-7.0.0-x86_64.rpm # rpm --install elasticsearch-oss-7.0.0-x86_64.rpm # systemc..

오픈소스 다운로드 : https://www.elastic.co/downloads/beats/winlogbeat-oss - winlogbeat.yml 파일에서 elasticsearch와 kibana 주소로 변경하고 저장 - winlogbeat.exe 실행 (command 창에서 실행) - 정상적으로 데이터가 업데이트가 되면 kibana에서 index를 등록 - 일자별로 일일히 등록할 수 없으니 winlogbeat* 로 index를 생성

파이썬을 이용하여 Elasticsearch에 index 생성하고, 삭제하는 방법으로 모니터링 try: es = Elasticsearch(hosts=' ', port=' ') doc = ''' { "mappings": { "testindex": { "properties": { "msg": { "type": "keyword" } } } } }''' res = es.indices.create(index='testindex', body=doc) print('index create : %s' %res['acknowledged']) res = es.indices.delete(index='testindex') print('index delete : %s' %res['acknowledged']) except Excep..

DOCS : https://www.elastic.co/guide/en/elasticsearch/reference/6.2/number.html 구분 범위long A signed 64-bit integer with a minimum value of -263 and a maximum value of 263-1 integer A signed 32-bit integer with a minimum value of -231 and a maximum value of 231-1 short A signed 16-bit integer with a minimum value of -32,768 and a maximum value of 32,767 byte A signed 8-bit integer with a minimum va..