# fluentd

18개의 포스트
post-thumbnail

EFK stack

EFK 스택은 Elasticsearch, Fluentd, c의 약자로 로그 수집, 저장, 분석을 위한 오픈소스 솔루션Elasticsearch분산 검색 엔진으로 로그 데이터의 저장과 검색에 사용Json 문서를 통해 데이터 검색 수행 → 조건에 따라 문서 필터링이 가능

2023년 5월 15일
·
0개의 댓글
·
post-thumbnail

ELK

ELK 엄청 유명한건 알겠는데.... 그래서 뭔데? 어디에 왜 쓰는건데?

2023년 3월 28일
·
0개의 댓글
·
post-thumbnail

Fluentd + OpenSearch 로그 모니터링 시스템 구축기

Fluentd + OpenSearch를 결합하여 syslog를 수집하는 시스템을 구축하는 내용에 대한 기록입니다.Ubuntu 20.04.5 LTSFluentd가 설치된 환경 (버전 : v1.15.3)OpenSearch가 설치된 환경 (버전 : v2.4.1)타켓 로그파일

2023년 1월 18일
·
0개의 댓글
·
post-thumbnail

Fluentd Install

Fluentd는 오픈소스 기반의 Data collector/aggregator 입니다. Fluentd를 설치하는 방법은 td-agent 패키지를 이용해서 설치하는 방법과 소스를 직접 빌드하여 설치하는 방법이 있습니다. 본 글에서는 소스를 직접 빌드하여 Fluentd를

2023년 1월 17일
·
0개의 댓글
·
post-thumbnail

Fluentd vs FluentBit

fluentBit - Designed for Cloud and Containerized Environmentsfluentbit: fluentd에서 HA구성을 뺀 더 적은 메모리를 사용하는 경량버전2022년 Datadog에서 의거한 자료에 의하면 Docker에서 4번째로

2022년 11월 24일
·
0개의 댓글
·
post-thumbnail

Fluentd와 BigQuery를 사용한 실시간 로그 분석

Fluentd는 로그(데이터) 수집기(collector)다. 보통 로그를 수집하는 데 사용하지만, 다양한 데이터 소스(HTTP, TCP 등)로부터 데이터를 받아올 수 있다.Fluentd로 전달된 데이터는 tag, time, record(JSON) 로 구성된 이벤트로 처

2022년 9월 7일
·
0개의 댓글
·
post-thumbnail

[ElasticSearch] Fluentd와 연동

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 Kafka -> Fluentd -> Elastic Search로 전달 예정 들어온 데이터를 시각화 및 BI 따라서 Fluentd ES 연동이 필요함 제한사항 index_name 이름은 news(대문자가 들어가면 안됨) 받는 데이터(네이버 뉴스) 뉴스 제목 신문사 뉴스 장르(정치, IT...

2022년 6월 27일
·
0개의 댓글
·
post-thumbnail

[Fluentd] Consumer2

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 Consumer를 Fluentd를 사용할 예정 Kafka -> Fluentd -> Elastic Search로 전달 예정 따라서 Consumer를 표준출력을 ES로 보내기 위해 conf파일 수정 예정 제한사항 topic 이름은 news(대문자가 들어가면 안됨) 보낼 데이터(네이버 뉴스) 뉴스 ...

2022년 6월 27일
·
0개의 댓글
·

fluentd

Fluentd는 로그데이터 수집기 이다. 보통 로그를 수집하는 데 사용하지만 다양한 데이터 소스로부터 데이터를 받아 올 수 있다. Fluentd로 전달된 데이터는 tag,time,record(json)로 구성된 이벤트로 처리되며, 원하는 형태로 가공되어 당양한 목적지

2022년 2월 9일
·
0개의 댓글
·
post-thumbnail

Go를 활용한 로그에서 메시지만 추출하는 파이프라인 만들어보기 - (1) 설계

안녕하세요. 갈비만두를 좋아하는 개발자 임태빈입니다.​새로운 토이 프로젝트로 kafka에 전송되는 로그 메시지를 consumer를 통해 받고그 데이터에서 메시지만 추출하는 것을 해보려고 합니다.​여러가지를 추출 할 수 있지만 이번에는 메시지만 추출하는 것을 해보면 좋겠

2022년 1월 2일
·
0개의 댓글
·
post-thumbnail

Fluentd 버퍼 테스트 하기(3) - Buffer 테스트 진행 및 결과

안녕하세요.갈비만두를 좋아하는 개발자 임태빈입니다.오늘은 Fluentd 버퍼 테스트 하기 마지막 파트인 Buffer 테스트를 진행해보려고 합니다.​먼저 fluentd서버 두개를 구축해보겠습니다.두개의 서버 이름을 구분지어서 얘기하는게 이해하시기 좋을거 같아 fluen

2022년 1월 2일
·
0개의 댓글
·
post-thumbnail

Fluentd 버퍼 테스트 하기(2) - Gin구현 및 Fluentd연결

안녕하세요.갈비만두를 좋아하는 개발자 임태빈입니다."Fluentd 버퍼 테스트 하기(1) - 설계" 이라는 이름으로 포스팅했던 내용을 이어 Gin을 활용해 웹서버를 만들고 이를 fluentd와 연동해보겠습니다.(첫번째 포스팅을 안보셨다면 이 링크를 통해 봐주시면 감사드

2022년 1월 2일
·
0개의 댓글
·
post-thumbnail

Fluentd 버퍼 테스트 하기(1) - 설계

안녕하세요.갈비만두를 좋아하는 개발자 임태빈입니다.로그 시스템 구축에 대해서 공부를 하면서 로그 수집기인 Fluentd를 공부하고 있습니다. Fluentd를 엘라스틱처시와 연동하여 쓰려고 하다보니 Fluentd에서 겪을 수 있는 여러 케이스들에 대해서 테스트들에 대해

2022년 1월 2일
·
0개의 댓글
·

CDN LOG FLUENTD

출처 : https://www.jsdelivr.com/package/npm/fluent-logger-nodecdn에 올라가 있는 스크립트의 이벤트 로그 수집이 필요해 고민 하던 중 괜찮은 예제가 있어서 기록해본다.EFK를 로컬 환경 구성후 아래 테스트를 진행.

2021년 7월 19일
·
0개의 댓글
·

kubernetes - fluentd

fluentbit - fluentd 사용시 문제 상황 발생fluentd 메모리 사용으로 인해서 죽는 상황이 발생한다이유는 fluentd에서 container log를 가져오는데...만약에 fluentd가 죽어버리는 상황이 발생하면, container의 log를 처음부터

2021년 6월 4일
·
0개의 댓글
·
post-thumbnail

[AWS Cloud 구축 및 운영 Mini Project] 03. EFK Stack 구축을 통한 로그 수집

이번 포스팅에서는 EFK Stack 구축을 통한 로그 수집을 주제로, 진행한 프로젝트에 대해 요약해볼 것이다. ### ✏️ **글의 구성** 1. Elastic Search(log 저장소) 구축 1-1. EKS 생성하고, Ngnix 실행하기 1-2. Elast

2021년 5월 30일
·
0개의 댓글
·
post-thumbnail

Fluentd란?

Fluentd >Fluentd는 로그 수집기입니다. 보통 로그를 수집하지만, 다양한 데이터 소스(HTTP, TCP 등)로부터 데이터를 받아올 수 있습니다. Fluentd로 전달된 데이터는 tag, time, record(JSON) 로 구성된 이벤트로 처리되며, 원하는

2021년 2월 7일
·
0개의 댓글
·