# fluentd
EFK stack
EFK 스택은 Elasticsearch, Fluentd, c의 약자로 로그 수집, 저장, 분석을 위한 오픈소스 솔루션Elasticsearch분산 검색 엔진으로 로그 데이터의 저장과 검색에 사용Json 문서를 통해 데이터 검색 수행 → 조건에 따라 문서 필터링이 가능
Fluentd + OpenSearch 로그 모니터링 시스템 구축기
Fluentd + OpenSearch를 결합하여 syslog를 수집하는 시스템을 구축하는 내용에 대한 기록입니다.Ubuntu 20.04.5 LTSFluentd가 설치된 환경 (버전 : v1.15.3)OpenSearch가 설치된 환경 (버전 : v2.4.1)타켓 로그파일
Fluentd Install
Fluentd는 오픈소스 기반의 Data collector/aggregator 입니다. Fluentd를 설치하는 방법은 td-agent 패키지를 이용해서 설치하는 방법과 소스를 직접 빌드하여 설치하는 방법이 있습니다. 본 글에서는 소스를 직접 빌드하여 Fluentd를
Fluentd vs FluentBit
fluentBit - Designed for Cloud and Containerized Environmentsfluentbit: fluentd에서 HA구성을 뺀 더 적은 메모리를 사용하는 경량버전2022년 Datadog에서 의거한 자료에 의하면 Docker에서 4번째로
Fluentd와 BigQuery를 사용한 실시간 로그 분석
Fluentd는 로그(데이터) 수집기(collector)다. 보통 로그를 수집하는 데 사용하지만, 다양한 데이터 소스(HTTP, TCP 등)로부터 데이터를 받아올 수 있다.Fluentd로 전달된 데이터는 tag, time, record(JSON) 로 구성된 이벤트로 처
[ElasticSearch] Fluentd와 연동
개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 Kafka -> Fluentd -> Elastic Search로 전달 예정 들어온 데이터를 시각화 및 BI 따라서 Fluentd ES 연동이 필요함 제한사항 index_name 이름은 news(대문자가 들어가면 안됨) 받는 데이터(네이버 뉴스) 뉴스 제목 신문사 뉴스 장르(정치, IT...
[Fluentd] Consumer2
개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 Consumer를 Fluentd를 사용할 예정 Kafka -> Fluentd -> Elastic Search로 전달 예정 따라서 Consumer를 표준출력을 ES로 보내기 위해 conf파일 수정 예정 제한사항 topic 이름은 news(대문자가 들어가면 안됨) 보낼 데이터(네이버 뉴스) 뉴스 ...
fluentd
Fluentd는 로그데이터 수집기 이다. 보통 로그를 수집하는 데 사용하지만 다양한 데이터 소스로부터 데이터를 받아 올 수 있다. Fluentd로 전달된 데이터는 tag,time,record(json)로 구성된 이벤트로 처리되며, 원하는 형태로 가공되어 당양한 목적지
Go를 활용한 로그에서 메시지만 추출하는 파이프라인 만들어보기 - (1) 설계
안녕하세요. 갈비만두를 좋아하는 개발자 임태빈입니다.새로운 토이 프로젝트로 kafka에 전송되는 로그 메시지를 consumer를 통해 받고그 데이터에서 메시지만 추출하는 것을 해보려고 합니다.여러가지를 추출 할 수 있지만 이번에는 메시지만 추출하는 것을 해보면 좋겠
Fluentd 버퍼 테스트 하기(3) - Buffer 테스트 진행 및 결과
안녕하세요.갈비만두를 좋아하는 개발자 임태빈입니다.오늘은 Fluentd 버퍼 테스트 하기 마지막 파트인 Buffer 테스트를 진행해보려고 합니다.먼저 fluentd서버 두개를 구축해보겠습니다.두개의 서버 이름을 구분지어서 얘기하는게 이해하시기 좋을거 같아 fluen
Fluentd 버퍼 테스트 하기(2) - Gin구현 및 Fluentd연결
안녕하세요.갈비만두를 좋아하는 개발자 임태빈입니다."Fluentd 버퍼 테스트 하기(1) - 설계" 이라는 이름으로 포스팅했던 내용을 이어 Gin을 활용해 웹서버를 만들고 이를 fluentd와 연동해보겠습니다.(첫번째 포스팅을 안보셨다면 이 링크를 통해 봐주시면 감사드
Fluentd 버퍼 테스트 하기(1) - 설계
안녕하세요.갈비만두를 좋아하는 개발자 임태빈입니다.로그 시스템 구축에 대해서 공부를 하면서 로그 수집기인 Fluentd를 공부하고 있습니다. Fluentd를 엘라스틱처시와 연동하여 쓰려고 하다보니 Fluentd에서 겪을 수 있는 여러 케이스들에 대해서 테스트들에 대해
CDN LOG FLUENTD
출처 : https://www.jsdelivr.com/package/npm/fluent-logger-nodecdn에 올라가 있는 스크립트의 이벤트 로그 수집이 필요해 고민 하던 중 괜찮은 예제가 있어서 기록해본다.EFK를 로컬 환경 구성후 아래 테스트를 진행.
kubernetes - fluentd
fluentbit - fluentd 사용시 문제 상황 발생fluentd 메모리 사용으로 인해서 죽는 상황이 발생한다이유는 fluentd에서 container log를 가져오는데...만약에 fluentd가 죽어버리는 상황이 발생하면, container의 log를 처음부터
[AWS Cloud 구축 및 운영 Mini Project] 03. EFK Stack 구축을 통한 로그 수집
이번 포스팅에서는 EFK Stack 구축을 통한 로그 수집을 주제로, 진행한 프로젝트에 대해 요약해볼 것이다. ### ✏️ **글의 구성** 1. Elastic Search(log 저장소) 구축 1-1. EKS 생성하고, Ngnix 실행하기 1-2. Elast
