Elastic Search-Logstash-Kibana

• Docker관련 설정 docker-compose.yaml파일

version: '3.7'

services:
  my-backend:
    build:
      context: .
      dockerfile: Dockerfile
    volumes:
      - ./src:/myfolder/src
    ports:
      - 3000:3000

  my-database:
    image: mysql:latest
    environment:
      MYSQL_DATABASE: 'mainproject'
      MYSQL_ROOT_PASSWORD: 'root'
    ports:
      - 3306:3306

  my-redis:
    image: redis:latest
    ports:
      - 6379:6379

  # elasticsearch-logstash-kibana는 한쌍! 
  # 각각의 설정파일에서 서로의 기본 이름으로 연결되어있기 때문에 이름을 그대로 사용하는 것이 좋음
  elasticsearch:
    image: elasticsearch:7.17.0
    environment:
      discovery.type: single-node # elasticsearch db이기 때문에 여러개로 분산가능! 지금은 test로 한 개로 사용할 것이기때문에 single-node사용
    ports:
      - 9200:9200

  logstash:
    image: logstash:7.17.0
    # docker안에 logstash관련 파일 넣기
    volumes:
      - ./elk/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf
      - ./elk/logstash/mysql-connector-java-8.0.28.jar:/usr/share/logstash/mysql-connector-java-8.0.28.jar
      - ./elk/logstash/templates.json:/usr/share/logstash/templates.json

  # kibana:
  #   image: kibana:7.17.0  # 용량이 굉장히 큼

1. Elastic Search👀

• 텍스트, 숫자, 정형 및 비정형 데이터 등 모든 유형의 데이터를 위한 무료 오픈 소스 검색 및 분산 엔진

• 단순히 검색 엔진을 넘어 보안, 로그 분석, 전문분석 등 다양한 영역에서 중요한 역할

• Elastic Search-참고 사이트 https://esbook.kimjmin.net

• 인덱스(빠른검색)
  mySQL
  ex) "철수"

• 역인덱스(빠른 전문(full-text)검색)문장
  Elasticsearch
  ex) 문장에 들어간 "점심"

• yarn add @nestjs/elasticsearch 설치
  [product.module.ts파일에 elasticsearch 사용을 위한 의존성 주입!]

import { Module } from '@nestjs/common';
import { TypeOrmModule } from '@nestjs/typeorm';
import { Product } from './entities/product.entity';
import { ProductResolver } from './product.resolver';
import { ProductService } from './product.service';
import { ElasticsearchModule } from '@nestjs/elasticsearch';

@Module({
  imports: [
    TypeOrmModule.forFeature([
      Product, //
    ]),
    // elasticsearch 사용을 위한 의존성 주입!
    ElasticsearchModule.register({
      node: 'http://elasticsearch:9200',
    }),
  ], //
  providers: [
    ProductResolver, //
    ProductService,
    ProductSubscriber,
  ],
}) //의존성 주입 필요
export class ProductModule {}

• ElasticSearch를 생성자 주입
• QueryDSL을 사용해 생성, 조회
  [product.resolver.ts에 elasticsearch에 등록하는 코드 추가]

@Mutation(() => Product)
  createProduct(
    @Args('createProductInput') createProductInput: CreateProductInput, //
  ) {
    // 엘라스틱서치에서 등록 연습하기!! => 연습! 실제로는 mysql에 저장할 예정!
    this.elasticsearchService.create({
    	id: 'myid',
        index: 'myproduct', //table 이름
      	document: {
         name: '철수',
         age: 14,
        school: '다람쥐초등학교',
       },
     });
  }

[product.resolver.ts에 elasticsearch에 조회하는 코드 추가]

@Query(() => [Product])
  async fetchProducts() {
    // 단일 컬럼은 mysql , 문장에서 찾으면 elasticsearsh에서 조회!
    // 엘라스틱서치에서 조회 연습하기
    const result = await this.elasticsearchService.search({
      index: 'myproduct',
      query: {
        match_all: {},
      },
    });
    // 객체형태로 들어오기때문에 string으로 변환 필요
    console.log(JSON.stringify(result, null, ' '));

2.logstash

• mySQL에서 문장용 데이터들을 Elastic Search에 저장해주는 역할
• mySQL에 접속해서 데이터를 polling해서 Elastic Search에 저장
• 이 과정을 위한 설정 파일 필요 logstash.conf파일
  입력(Inputs) -> 필터(Filters) -> 출력(Outputs) 으로 이루어짐
  입력 - Beats, RDBMS 등 다양한 데이터 저장소로부터 데이터를 입력

		# 매번 mysql에서 pullling
        # 중복 저장을 피할 수 있도록 updatedat이 가장 마지막인 시간을 저장
input{
    jdbc{
        # 데이터 베이스에 접속하기 위한 접속 정보 MySQL-connector-java
        jdbc_driver_library => "/usr/share/logstash/mysql-connector-java-8.0.28.jar"
        jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
        jdbc_connection_string => "jdbc:mysql://my-database:3306/myprojectDocker" #나의 db정보(mysql사용, docker에서 db이름)
        jdbc_user => "root"
        jdbc_password => "root"
        schedule => "* * * * *" # 실행 주기 분/ 시간/ 일/ 월/ 요일  10 * * * * 매 10분마다(1시 10분,,1시 20분,,) * 2 * * * 매일 2시 마다  => 크론탭
        use_column_value => true # 컬럼 사용할게 
        tracking_column => "updatedat" # 어떤 컬럼 추적할건데?
        tracking_column_type => "numeric"  # 컬럼의 타입이 뭔데? # numeric = 숫자
        last_run_metadata_path => "./aaa.txt"  # 파일 생성 후 파일 안에 마지막 데이터 저장 (updatedat컬럼이 aaa.txt에 저장 됨) # cat aaa.txt로 확인 가능
        statement => "select id, name, price, unix_timestamp(updatedat) as updatedat from product where unix_timestamp(updatedat) > :sql_last_value order by updatedat asc"  # 명령어(모두 소문자로 작성!)
        # unix_timestamp =>  날짜를 숫자로 변경 해줌 
        # updatedat은 aaa.txt에도 저장 (다음 저장 때 저장시간을 사용하기위해)
        # updatedat을 기준으로 정렬 필요
    } 

}

output{
	# elasticsearch에 저장!
    elasticsearch{
        hosts => "elasticsearch:9200"
        index => "myproduct" # index = 테이블이름
        template => 
    }
}

💡 Elasticsearch를 이용하여 구현할 기능은 단순검색기능으로 복잡한 기능은 처리하지 않기 때문에 Logstash를 활용해 이미 존재하는 RDBMS의 Data를 알맞게 변환하여E ES에 제공하는 것이 핵심!

3.Kibana

API요청을 해야 데이터를 볼 수 있음 ex) match_all:{}
Elastic Search전용 dbeaver역할!

• 검색과 Aggregation의 집계 기능을 이용해 Elasticsearch로 부터 문서, 집계 결과 등을 불러와 웹 도구로 시각화 및 모니터링 
• Discover, Visualize, Dashboard 3개의 기본 메뉴와 다양한 App 들로 구성되어 있고, 플러그인을 통해 App의 설치가 가능