⚡ Docker 기반 모니터링 구축 (ELK)
📌 ELK
⭐ ELK Stack
🔷 ElasticSearch, Logstash, Kibana 오픈 소스 프로젝트 세 개의 머리글
- ElasticSearch: 검색 및 분석 엔진
- Logstash: 여러 소스에서 동시에 데이터를 수집하여 변환한 후 Elasticsearch 같은 "stash"로 전송하는 서버 사이드 데이터 처리 파이프라인
- Kibana: 사용자가 Elasticsearch에서 차트와 그래프를 이용해 데이터를 시각화
🔷 Elasticsearch
- 자바 Apache Lucene 기반의 검색 엔진이다. 문서를 수집하고, 수집된 문서를 검색이 쉽도록 색인하고, 저장된 색인으로부터 질의에 해당하는 문서를 검색하여 결과로 제 공한다. 색인된 데이터 기반의 각종 집계도 지원한다.
💡 검색 엔진
월드 와이드 웹 상에 존재하는 정보와 웹 사이트를 검색하기 위한 프로그램이다. 웹의 정보를 긁어오는 소프트웨어는 크롤러라고 부르고, 그 행위는 크롤링이라고 부른다. 참고로 일반 검색 엔진에 안 잡히는 웹을 딥 웹이라 한다.
검색 엔진은 프로그램을 가리키는 것이고 그 프로그램으로 검색 서비스를 제공하는 곳은 검색 사이트'지만, 사실상 검색 엔진 이라는 용어로 두 의미를 혼용하고 있다. 또한, 사실상 포털 사이트와 동의어로 쓰이기도 한다. 이는 대부분의 포털 사이트가 검색 서비스를 제공하고 있기 때문이다.
2010년대 들어선 모바일의 강세와 유튜브의 강세로 검색 엔진의 입지가 좁아지는 중이다. 현대 들어서 제대로 된 검색은 구 글을 통해 시행할 뿐 대부분의 정보는 검색이 아닌 유튜브나 SNS로 얻는게 대세가 되었기 때문. 네이버는 검색엔진의 힘이
2000년대 비해 보잘것 없다는 얘기를 듣지만 쇼핑7, 메신저, 웹툰 등을 강화해 좋은 평가를 받고 있는 반면 검색 엔진에 역량 을 집중한 바이두는 쇼핑의 알리바바, SNS와 메신저의 텐센트에 비교해 모바일 환경에 전혀 강점이 없다는 평가를 듣고 있다.
- 문서 색인에 역 인덱싱 기법(Inverted Indexing)을 이용하여 빠른 검색 성능을 보인다.
💡 역 인덱싱
키워드가 어떤 문서에 있는지를 해시 테이블로 저장해 놓는 색인 방식을 의미한다.
🔷 Logstash
- 서버 데이터를 수집, 변환, 전송하는 데이터 처리 파이프라인으로, Jruby(JVM기반 Ruby)로 개발되었다.
- input, filter, output의 세 단계로 구성된다.
- Input: 데이터가 유입되는 소스
- Fiter: 유입된 데이터를 어떻게 변형할 것인지의 과정
- Output: 데이터를 전송할 목적지
🔷 Kibana
- Elasticsearch에 있는 데이터를 시각화할 수 있도록 하는 웹 브라우저 기반의 시각화 플랫폼이다. Elasticsearch에 있는 인덱스의 패턴을 찾아서, 데이터를 확인하거나, 시각화할 수 있도록 한다.
⭐ Docker Compose
- 여러 컨테이처로 이루어진 서비스를 구축, 실행하는 순서를 자동으로 하여, 관리를 간단히하는 기능이다.
- Docker compose에서는 compose 파일을 준비하여 커맨드를 1회 실행하는 것으로 그 파일로부터 설정을 읽어들여 모든 컨테이너 서비스를 실행시키는 것이 가능하다.
- 윈도우즈 설치 : https://github.com/docker/compose/releases
- 설치 테스트 : docker-compose-version
⭐ ELK 구축 실습
- 코드의 양이 많아 해당 실습 코드를 올린 깃을 남긴다.
- 실습 샘플과 실습을 위한 명령어들 또한 README에 들어있다.
💡 요기
📌 EFK Stack
⭐ EFK Stack이란?
🔷 Elasticsearch, Fluentd, kibana 이 오픈 소스 프로젝트 세 개의 머리글
- Elasticsearch: 검색 및 분석 엔진
- Fluentd: 여러 소스에서 동시에 데이터를 수집하여 변환한 후 Easticsearch 같은 “stash”로 전송하는 서버 사이드 데이터 처리 파이프라인
- Kibana: 사용자가 Easticsearch에서 차트와 그래프를 이용해 데이터를 시각화
