profile
hi

[Elasticsearch] 노드 교체

노드 교체 1. shard routing none 2. 추가할 노드 start 3. 제거할 노드 stop 4. 추가한 노드 클러스터에 들어왔는지 확인 5. shard routing null 6. shard가 initializing 되는지 모니터링 7. sha

2022년 6월 22일
·
0개의 댓글
·
post-thumbnail

[Logstach] 시작하기

로그스테이시는 실시간 파이프라인 기능을 가진 데이터 수집 엔진 오픈소스이다.로그스테이시는 서로 다른 소스의 데이터를 동적으로 통합하고 원하는 대상으로 데이터를 정규화 할 수 있는 능력을 가진다.다양한 입력과 필터 및 출력 플러그인을 통해, 모든 유형의 이벤트를 보강하고

2022년 5월 27일
·
0개의 댓글
·

[Elasticsearch] 검색 score

elasticsearch는 version 7이후를 기준으로 BM25로 score계산을 한다.키워드가 문서에 얼마나 자주 나타나는지, 모든 문서에서 자주 등장하는지 특정 문서에서만 자주 등장하는지를 계산하여 키워드의 중요도에 따른 검색 결과를 뽑아내는데 최적화 되어있다.

2022년 5월 18일
·
0개의 댓글
·

[Elasticsearch] 검색 paging

from, size로 페이징은 기본값이 10,000이다.그 이후로 "from":"10100" 이렇게 사용하려면 max_result_window 을 올려야한다.(페이징을 위해 대략 전체문헌수인 2억으로 잡혀있음)elasticsearch가 from,size로 요청한 페이지

2022년 5월 16일
·
0개의 댓글
·
post-thumbnail

[Elasticsearch] 데이터를 색인하여 검색되는 과정

색인애플리케이션을 통해 새로운 데이터가 elasticsearch의 분석을 통해 terms가 된다.이렇게 파생된 terms는 역색인에 넣어서 중요한 것들을 빠르게 관련된 것들을 검색할 수 있게 한다.검색애플리케이션으로 검색키워드가 들어오면 해당 키워드도 분석되어 term

2022년 5월 13일
·
0개의 댓글
·
post-thumbnail

[CS] 싱글스레드, 멀티스레드의 의미

면접시 질문으로 나왔으나, 제대로된 정의를 얘기하지 못해 정리해보았다.운영체제로부터 자원을 할당받은 작업의 단위디스크로부터 메모리에 적재되어 운영체제로부터 주소 공간, 파일, 메모리 등을 할당받으며 이것들을 총칭하여 프로세스라고 한다.함수의 매개변수, 복귀 주소, 로컬

2022년 5월 13일
·
0개의 댓글
·

[elasticsearch] elasticsearch의 기본 개념(특징, 구조)

Elasticsearch 구성 시 보통 3개 이상의 노드로 클러스터를 구성한다.이는 데이터가 샤드(shard)로 저장되어 replica(복사본)을 만들어서 노드 하나가 떨어져서 2노드는 정상적으로 작동할 수 있게 하기 때문이다. 이런 데이터의 안정성을 보장할 수 있다.

2022년 5월 13일
·
0개의 댓글
·

[Elasticsearch] agg 쿼리로 집계된 id값 보는방법

"group_by_name":{ "terms": { "field": "name" }, "aggs": { "group_by_id": { "terms": { "script": "

2022년 5월 4일
·
0개의 댓글
·

[Elasticsearch] 플러그인 구조 분석

필터NGramFilterFactory.java - NGramTokenFilter.java ChosungFilterFactory.java - ChosungFilter.java SnowballPorterFilterFactory.java - SnowballFilte

2022년 5월 4일
·
0개의 댓글
·

[Elasticsearch] 플러그인 커스텀 방법

https://github.com/elastic/elasticsearch여기서 plugin 폴더에 소스 있음.elasticsearch는 gradle로 빌드함.밑의 lucene 프로젝트로 얻은 jar를 참조하여 새로운 analyzer 만들기 가능.https&#x

2022년 5월 4일
·
0개의 댓글
·

[Elasticsearch] persistent와 transient

elasticsearch rolling restart를 하려던중에 먼저 재기동시 샤드가 움직이는걸 막기 위해 routing을 none으로 해야하는데옵션이 persistent와 transient가 있어 둘의 차이점을 알아보았다.GET \_cluster/settings?i

2022년 4월 27일
·
0개의 댓글
·

[Elsticsearch] 클러스터 version 업그레이드 하기

elasticsearch vesion 업그레이드 하던 절차를 정리해봤다.1) elastic 업그레이드할 version 설치2) elasticsearch.yml 기존과 동일하게 설정 사용하던 사전, plugin 세팅하기, jvm.options 등여기까지 업그레이드할

2022년 4월 22일
·
0개의 댓글
·

elasticsearch 7.17 이후 plugin gradle build하기

https://jdk.java.net 에선 jdk를 zip, .gz로 배포하고 있다.나는 github의 https://github.com/ojdkbuild/ojdkbuild 에서 설치를 하였다.1) OpenJDK 설치(.msi) 파일을 다운받는다.2)

2022년 4월 22일
·
0개의 댓글
·
post-thumbnail

[Elasticsearch] github플러그인 설치하기1_git clone

https://github.com/yaincoding/hanhinsam#2-3-%EC%97%98%EB%9D%BC%EC%8A%A4%ED%8B%B1%EC%84%9C%EC%B9%98%EC%97%90-%ED%94%8C%EB%9F%AC%EA%B7%B8%EC%9D%B8-%EC%8

2022년 4월 15일
·
0개의 댓글
·