# ELK

backtony

9200번 포트는 HTTP 클라이언트와 통신에 사용되며, 9300번 포트는 노드들간 통신 시에 사용됩니다.Elastic Stack은 버전정보에 민감하고 버전이 굉장히 빠르게 업데이트되기 때문에 버전을 잘 맞춰야합니다.이에 관해서는 문서(https://docs.

backtony

Elasticsearch는 Apache Lucene 기반의 Java 오픈소스 분산형 RESTful 검색 및 분석 엔진입니다.방대한 양의 데이터에 대해 실시간으로 저장과 검색 및 분석 등의 작업을 수행할 수 있습니다.특히 정형 데이터, 비정형 데이터, 지리 데이터 등 모

backtony

키바나 콘솔에서 ES 검색 쿼리를 실습해보도록 하겠습니다.설치는 docker-compose-github를 통해 docker-compose로 간단하게 설치할 수 있습니다.문서를 보고 진행하고 싶으시다면 공식 문서를 참고하세요. 과거의 엘라스틱서치 검색 은 크게 쿼리 컨

backtony

그림1 사용 환경Ubuntu server 20.04 EC2 4대elasticsearch : 10.0.7.189kibana : 10.0.7.163, 3.36.72.204logstash : 10.0.7.136filebeat : 10.0.7.127deb 패키지로 설치kib

backtony

그림1 전체적인 구조는 위와 같고 각각의 IP와 환경은 다음과 같습니다. Ubuntu server 20.04 환경filebeat EC2 1대logstash EC2 1대Elasticsearch data node EC2 2대Elasticsearch master node

backtony

"ELK"는 Elasticsearch, Logstash 및 Kibana, 이 오픈 소스 프로젝트 세 개의 머리글자입니다. Elasticsearch : 검색 및 분석 엔진Logstash : 여러 소스에 동시에 데이터를 수집하여 변환한 후 Elasticsearch 같은 "

jskim

보통 Elasticsearch API들의 결과는 JSON 포맷으로 보여진다. 그러나 JSON은 항상 읽기 쉽지는 않다. CAT API는 출력된 결과 포맷을 읽고 이해하는데 좀 더 쉽게 해준다. 다른 용도로 server에 사용되는 CAT API에는 다양한 paramete

jskim

Index API는 setting, aliases, mappings, index templates같은 index의 모든 측면을 관리한다.이 API는 index를 생성한다. index는 JSON Object를 어떤 index에라도 통과시킬 때 자동으로 생성된다. 또는 J

jskim

Elasticsearch에서 집계하는 포맷은 다음과 같다.Metrics Aggregations는 집계된 documents의 field 값으로부터 metric을 계산한다. 때때로 값은 script에 의해 생성되기도 한다.Numeric Metrics는 평균같은 단일값이거나

jskim

Search API는 Elasticsearch에 있는 content를 검색할 때 사용한다. parameter로서 query string을 가진 get request를 보냄으로서 검색할 수 있다. 또는 post request의 message body에 query를 전송할

jskim

Elasticsearch는 단일 문서(single document) APIs와 다중 문서(multi-document) API를 제공한다. Index API Index API는 특정 매핑을 가지는 index에 대한 요청이 있을 때 index에 JSON document를

jskim

Elasticsearch는 HTTP를 통해 JSON에 access할 수 있는 REST API를 제공한다. Elasticsearch API를 활용하여 데이터를 어떻게 조작하는지 알아본다. >REST란? REST(Representational State Transfer)

fj2008

아파치 httpd 서버 관리는 아주 잘 알고 있지만 엔진 엑스에 대해서는 아직 낯설다면 로그에서 어떤 내용을 찾아서 어떻게 해석해야 할지 막막할 것이다. 리눅스 서버의 정상 동작을 파악하기 위한 메트릭을 알아내기 위해 제법 시간을 들여야 한다. 이 모든 사항을 설정으로

fj2008

이름 그대로 로그를 저장한다라는 의미를 가지고 있다.로그라는 것은 반정형데이터이며 세상의 모든것이 로그가 될 수 있기때문에 로그 형태를 강제할 방법도 없다. 결국 로그를 수집하는 쪽에서 로그형태를 분석하고 시스템에ㅔ서 인식할 수 있도록 로그를 정제하는 작업이 필요하다.

jskim

Kibana란? Kibana는 데이터에 형태를 만들고, Elastic Stack을 탐색할 수 있게 한다. Kibana로 다음과 같은 작업을 할 수 있다. 검색, 관찰, 데이터 보호 kibana는 document 검색에서 log 분석, 보안 취약성 찾기와 같은 기능에 a

jskim

ELK란 Elasticsearch, Logstash, Kibana를 말한다. ELK는 log 분석을 하기 위해 세계적으로 사용하는 인기있는 log 관리 platform 중 하나다. ELK 중 Logstash는 input source으로부터 logging data나 다

yukina1418

N:M을 분리하기, VM에서 ELK 사용하는 설정, GCP의 SQL 외부에서 접속하기

fj2008

엘라스틱 서치가 처음 등장했을때는 빅데이터 파이프라인을 구성하는 플랫폼 형태로 될것이라고 예상하기 어려웠을것이다. 엘라스틱 서치가 등장했을무렵 사이트내에서 전문 검색기능을 제공하는 강력한 소프트 웨어의 필요성이 있었고 검색솔루션 서비스는 대부분 구현체를 공개하지 않아서

kidae92

"broker01" 서버로 접속한 후, apache kafka 실행apache kafka 실행 (zookeeper, broker) : jmx port 적용"kafka-client" 서버로 접속한 후, logstash(producer)와 logstash(consumer)

kidae92

이번 포스팅은 kafka를 통해 producer와 consumer가 데이터를 주고 받는 과정에서 kafka에서 발생하는 메트릭에 대해 모니텅 하고자 한다. 필자는 총 3대의 서버를 사용했으며, 각각의 역할은 kafka-client, broker, monitoring이다