# kibana
Elasticsearch와 ELK
회사에서 담당하는 서비스에 Elasticsearch로 구현된 검색기능이 있다.평소에는 대수롭지 않게 여겼는데 해당 기능에 이슈가 있어서 Elasticsearch에 대해 조사해보면서 더 나아가 평소에 해보고 싶었던 로그수집 시스템 구축을 위해 찾아봤던 ELK Stack에
[ELK] 인덱스 삭제 후 로그 수집이 안되는 경우
개발 서버 로그 Index에 Geo-IP를 추가해볼려고 여러 설정을 추가하다가 Index에 Error가 발생해서 현재 쌓이고 있던 Index를 삭제를 진행 했다. 그러자 인덱스 자동 생성이 안되고, 로그 수집이 중단되는 현상이 있어서 인덱스를 살리는 방법에 대해 알아
[Kubernetes] Kibana Helm Upgrade Job Issue
kibana helm install 시 기본적으로 job을 수행 한 후 디플로이먼트를 배포한다. 이 때 사전작업 job이 실행 될 때 pod의 state가 error가 발생하는데, 이를 describe 자세히 보았을 때 secret 중복 에러가 발생했다.opaque 타
ELK(4) - CQRS 도입기
저번 글에서 AWS를 이용하여 ElasticSearch를 구축하는데 성공하였습니다.이번 글에서는 Logstash와 Kibana 활용법을 알아보고자 합니다.먼저 Logstash를 위한 EC2를 하나 생성하고 EC2안에서 Docker를 통해서 Logstash를 띄웁니다.D
ELK(3) - CQRS 도입기
필자는 AWS의 클라우드 환경에서 CQRS를 구축하고 있기에 ElasticSearch와 Kibana는 AWS의 OpenSearch를 이용하여 구축하였습니다. Logstash는 AWS에서 따로 서비스로 제공하지 않기에 Docker를 통해 EC2에 띄웠습니다.물론 오픈소스
ELK Stack(2) - CQRS 도입기
ElasticSearch는 간단하게 말씀 드리면 검색 및 분석엔진으로써 대용량의 데이터를 신속하게 검색하고 분석하는 데 사용되는 오픈 소스 솔루션입니다.근데 여기서 중요한 점!! 그러면 기존 RDB와 NoSql DB들과의 차이점이 무엇이고 장점이 무엇인지???DataM
CQRS 도입기 - 7 ELK
ElasticSearch는 Apache Lucene에서 구축되어 배포된 검색 및 분석 엔진이다. JSON 기반의 문서를 저장하고 검색, 분석할 수 있는 확장 가능한 오픈 소스 검색 엔진이다. ElasticSearch는 대규모 데이터 집합을 쉽게 저장하고 검색할 수 있도
ELK Stack(1) - CQRS 도입기
저번 글을 끝으로 CUD 서버와 Kafka의 셋팅을 마쳤습니다. 이제부터는 Reading쪽에 관한 모든 것을 정리하고 시작하고자 합니다.간단한 플로우를 보여드리면 아래와 같습니다.왜 ELK를 택하셨습니까???늘 해당 기술 스택을 쓸 때 내가 왜 쓰는지??그리고 어떤 장
CQRS 도입기 - 1
데이터를 읽기 및 업데이트 작업을 구분하는 패턴인 명령과 쿼리의 역할 분리를 뜻한다고 합니다.https://learn.microsoft.com/ko-kr/azure/architecture/patterns/cqrs팀 프로젝트를 진행할때 게시판 기능을 맡게되었다.
[ELK] # 1 ELK스택이 뭔데. 그거 어떻게 하는건데.
여러분이 개발 초보시절 열심히 print를 찍어가며 열심히 변수를 확인할때를 생각해봐라.지금은 물론 logger 의 도움을 받아 너무나도 편하게 log.debug();를 사용하고 있겠지만, 그만큼 나의 행동 혹은 프로그램의 행동을 기록으로 남기는 것은 지금에서도, 나중
Elastic Stack
https://product.kyobobook.co.kr/detail/S000001932755만일 엘라스틱이 없었다면 지금 어떤 상황에 놓여 있을지 상상할 때가 있다. 데이터베이스의 LIKE 연산을 사용해 엄청나게 느릴 뿐만 아니라 부정확하기까지 한 검색 결과
[Kibana] Kibana
키바나는 엘라스틱에 저자된 파일을 보기 편하게 해주는 기능 엘라스틱서치를 모니터링, 관리할 수 있는 도구 yellow index의 상태가 노랑이라서 노드의 상태가 노랑색 근데 왜 인덱스들이 노랑색인가? 'Unassigned shards' 인덱스 하나에 데이터가 많이
Elasticsearch - 시작
이 시리즈에서는 엘라스틱 서치란 무엇인가, 사용이유와 사용법과에 대해 작성한다검색엔진이자 분산저장소입니다.일반적으로 JSON 형식의 데이터를 저장하며 루씬 기반으로 개발되어있어 빠른 검색이 가능합니다.서비스의 검색을 위해 사용되거나, 로그 등의 데이터를 검색할때 자주
[Centos7] ELK를 이용한 관제 시스템
Elastic server192.168.0.712v cpu6gb ram100gb hddLogstash server192.168.0.702v cpu6gb ram100gb hddFilebeat server192.168.0.2002v cpu4gb ram50gb hddELK란
Kibana - 데이터 비쥬얼라이저
실시간 검색어를 시각화 하기 전에 여러 연습을 통해 키바나 시각화 연습을 해볼 예정이다. 100mb 이하의 csv, tsv, json 데이터를 쉽게 import 할 수 있다. kibana 페이지에 접속후 data visualizer를 검색하면 된다. import data로 데이터를 넣는다. 필자는 kaggle에서 csv 다운로드 받아와서 넣었다.. ...
kibana
nvm 설치curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.3/install.sh | bashnode 설치vi packge.json 에 있는 node 버전 확인 할 것sourch .bashrcnvm i
Docker로 서버에서 Elasticsearch+Kibana+nori plugin 구동하기
Docker로 ES+Kibana 구동 및 plugin 설치하기