[ElasticSearch] EK 설치

개요

• 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함
• Kafka -> Fluentd -> Elastic Search로 전달 예정
• 들어온 데이터를 시각화 및 BI
• 따라서 ElasticSearch & Kibana 설치가 필요함

제한사항

• index_name 이름은 news(대문자가 들어가면 안됨)
• 받는 데이터(네이버 뉴스)
  • 뉴스 제목
  • 신문사
  • 뉴스 장르(정치, IT, 생활, 세계 등 6개)
  • 뉴스 url

Set up

ElasticSearch 설치

• jdk 설치

# jdk 설치
apt update
apt install -y openjdk-8-jdk

• ES 설치

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
apt update
apt install elasticsearch

• 확인

curl -XGET localhost:9200
systemctl status elasticsearch

• 현재 elasticsearch가 꺼져있어서 상태가 안뜨는 모습(ES는 메모리를 많이 차지하기 때문에 RAM을 4-8G로 늘려주고 키는 것을 추천함)

• ES 활성화

systemctl start elasticsearch

Kibana 설치

• jdk 설치

# jdk 설치
apt update
apt install -y openjdk-8-jdk

• Kibana 설치

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
apt update
apt install kibana

• setting

vi /etc/kibana/kibana.yaml
	server.host: "키바나가 설치된 컴퓨터의 IP"
systemctl restart kibana

• 확인

웹브라우저로 확인
http://키바나가설치된컴퓨터IP:5601/

결과