ELK
1.ELK 구축하기
ElasticSearch는 실시간 분산 검색 및 분석 엔진으로, 복잡한 검색 요구사항과 대용량 데이터 처리가 필요한 다양한 환경에서 사용된다. 이 엔진은 아파치 루씬(Lucene) 기반으로 만들어져 있으며, JSON 문서 형태로 데이터를 저장한다. 주요 특성:분산처리:
2023년 9월 7일
2.크롤링 데이터를 kafka를 통해 Elasticsearch에 저장하기
카테고리별 elasticsearch의 인덱스로 분리해서 저장하기초기에는 kafka connect를 이용해서 kafka-elasticsearch 파이프라인을 구축했기 때문에 SMT를 이용해서 필드의 값을 인덱스로 설정하려고했다.하지만 아래 문제의 parent-child
2023년 9월 14일