# elasticsearch
Log Data pipeline 구성
기존에 로그데이터 색인을 배치를 통해 진행하고 있었다. 하지만 해당 방식은 실시간이 될 수 없었고(배치 시간을 아무리 쪼개도 결국 배치가 수행되어야만 색인이 되므로),배치로 ES에 색인을 하니, 추천 데이터를 바로바로 Refresh가 되지 않았다. 앱을 방문하는 사용자
Spring Data Elasticsearch Custom Converter
For convert String to Enum type field, create enum class converter factory.
Elasticsearch Logstash사용하여 MariaDB 연결
참고자료 [elasticsearch] 로그스태시로 엘라스틱서치 MySQL 동기화하기 Elasticsearch 02 | Synchronize Logstash & Mysql ElasticSearch 검색 엔진 & MariaDB 데이터 동기화 (2) Elasticsearch
Hadoop vs Elasticsearch
간단한 검색 및 웹 분석이 초점이라면 Elasticsearch를 권장.규모 확장이 필요하고, 대량의 데이터와 타사 도구와의 호환성이 필요한 경우, Hadoop 인스턴스가 정답.
검색 기능 고도화 하기 3 - 성능 테스트
검색성능 테스트하기 RDB vs Elastic search 응답 속도 얼마나 차이가 날까 ? 검색데이터가 많은 경우에는 전문검색을 사용하기 어려워서 일반 index 검색을 사용했다 검색 데이터가 20만건 이상인 경우 index search vs elasticsear
ElasticSearch 시작하기 - (1) 소개
2004년 Compass라는 오픈소스 검색엔진으로 시작Compass 오픈소스는 아파치 루씬이 가진 한계를 보완하고 새로운 검색엔진을 만들기 위해 시작2010년 Compass에서 ElasticSearch의 오픈소스로 변경하면서 인기 급상승Logstash와 Kibana와
엘라스틱서치 (ES)
Elastic Stack Elasticsearch는 분산형 RESTful 검색 및 분석 엔진으로 Elastic Stack의 중심에 위치한다. 엘라스틱 스택은 검색.분석.데이터 저장소 역할을 하는 ES, 데이터 수집을 담당하는 비츠, 정제.전처리 수행하는 로그스태시, 시각화.관리 기능을 제공하는 키바나로 구성된다. Elastic은 매우 빠른 속도, 확장성...
elasticsearch curl
index 리스트 조회curl -u id:pw -X GET "localhost:9200/\_cat/indices?pretty" -H 'Content-Type: application/json'
Elasticsearch - 시작
이 시리즈에서는 엘라스틱 서치란 무엇인가, 사용이유와 사용법과에 대해 작성한다검색엔진이자 분산저장소입니다.일반적으로 JSON 형식의 데이터를 저장하며 루씬 기반으로 개발되어있어 빠른 검색이 가능합니다.서비스의 검색을 위해 사용되거나, 로그 등의 데이터를 검색할때 자주
[Elasticsearch] BadRequestError: BadRequestError(400, 'search_phase_execution_exception', 'runtime error')
field data type이 잘못 지정된 경우 발생하는 오류
elasticsearch snapshot 정리
snapshot repository 생성 후 repository를 삭제하거나, snapshot 파일을 삭제할 경우 elasticsearch를 재시작 해야함.
[Centos7] ELK를 이용한 관제 시스템
Elastic server192.168.0.712v cpu6gb ram100gb hddLogstash server192.168.0.702v cpu6gb ram100gb hddFilebeat server192.168.0.2002v cpu4gb ram50gb hddELK란
[ElasticSearch] alias API 요청으로 별칭 생성
ElasticSearch ILM 을 통해 index 에 alias 를 거는 방법 외에, 직접 alias API 를 통해 index alias 를 생성하는 방법
Elasticsearch rejected exception
원문 글현재 운영중에 발생한 적은 없지만, ES를 운영하면서 알아야하는 이슈이므로 따로 정리한다. 원문 글이 더욱 자세하고 좋게 글이 작성되어 있고, 실제 내부에서 테스트할 여건이 안되므로 이 블로그에는 간략하게만 작성하도록 한다.Thread Pool은 ES의 주요 기
Elastic Search - 분석기
엘라스틱서치는 전문 검색을 지원하기 위해 역인덱싱을 사용한다.전문 검색은 문자열에서 부분 검색을 수행하는 것이다.엘라스틱서치는 캐릭터 필터, 토크나이저, 토큰 필터로 구성되어 있는 분석기 모듈을 가진다.캐릭터 필터입력받은 문자열을 변경하거나 불필요한 문자들을 제거한다.