# fluentd

10개의 포스트

fluentd

Fluentd는 로그데이터 수집기 이다. 보통 로그를 수집하는 데 사용하지만 다양한 데이터 소스로부터 데이터를 받아 올 수 있다. Fluentd로 전달된 데이터는 tag,time,record(json)로 구성된 이벤트로 처리되며, 원하는 형태로 가공되어 당양한 목적지

2022년 2월 9일
·
0개의 댓글
post-thumbnail

Go를 활용한 로그에서 메시지만 추출하는 파이프라인 만들어보기 - (1) 설계

안녕하세요. 갈비만두를 좋아하는 개발자 임태빈입니다.​새로운 토이 프로젝트로 kafka에 전송되는 로그 메시지를 consumer를 통해 받고그 데이터에서 메시지만 추출하는 것을 해보려고 합니다.​여러가지를 추출 할 수 있지만 이번에는 메시지만 추출하는 것을 해보면 좋겠

2022년 1월 2일
·
0개의 댓글
post-thumbnail

Fluentd 버퍼 테스트 하기(3) - Buffer 테스트 진행 및 결과

안녕하세요.갈비만두를 좋아하는 개발자 임태빈입니다.오늘은 Fluentd 버퍼 테스트 하기 마지막 파트인 Buffer 테스트를 진행해보려고 합니다.​먼저 fluentd서버 두개를 구축해보겠습니다.두개의 서버 이름을 구분지어서 얘기하는게 이해하시기 좋을거 같아 fluen

2022년 1월 2일
·
0개의 댓글
post-thumbnail

Fluentd 버퍼 테스트 하기(2) - Gin구현 및 Fluentd연결

안녕하세요.갈비만두를 좋아하는 개발자 임태빈입니다."Fluentd 버퍼 테스트 하기(1) - 설계" 이라는 이름으로 포스팅했던 내용을 이어 Gin을 활용해 웹서버를 만들고 이를 fluentd와 연동해보겠습니다.(첫번째 포스팅을 안보셨다면 이 링크를 통해 봐주시면 감사드

2022년 1월 2일
·
0개의 댓글
post-thumbnail

Fluentd 버퍼 테스트 하기(1) - 설계

안녕하세요.갈비만두를 좋아하는 개발자 임태빈입니다.로그 시스템 구축에 대해서 공부를 하면서 로그 수집기인 Fluentd를 공부하고 있습니다. Fluentd를 엘라스틱처시와 연동하여 쓰려고 하다보니 Fluentd에서 겪을 수 있는 여러 케이스들에 대해서 테스트들에 대해

2022년 1월 2일
·
0개의 댓글

CDN LOG FLUENTD

출처 : https://www.jsdelivr.com/package/npm/fluent-logger-nodecdn에 올라가 있는 스크립트의 이벤트 로그 수집이 필요해 고민 하던 중 괜찮은 예제가 있어서 기록해본다.EFK를 로컬 환경 구성후 아래 테스트를 진행.

2021년 7월 19일
·
0개의 댓글

kubernetes - fluentd

fluentbit - fluentd 사용시 문제 상황 발생fluentd 메모리 사용으로 인해서 죽는 상황이 발생한다이유는 fluentd에서 container log를 가져오는데...만약에 fluentd가 죽어버리는 상황이 발생하면, container의 log를 처음부터

2021년 6월 4일
·
0개의 댓글
post-thumbnail

[AWS Cloud 구축 및 운영 Mini Project] 03. EFK Stack 구축을 통한 로그 수집

이번 포스팅에서는 EFK Stack 구축을 통한 로그 수집을 주제로, 진행한 프로젝트에 대해 요약해볼 것이다. ### ✏️ **글의 구성** 1. Elastic Search(log 저장소) 구축 1-1. EKS 생성하고, Ngnix 실행하기 1-2. Elast

2021년 5월 30일
·
0개의 댓글
post-thumbnail

Fluentd란?

Fluentd >Fluentd는 로그 수집기입니다. 보통 로그를 수집하지만, 다양한 데이터 소스(HTTP, TCP 등)로부터 데이터를 받아올 수 있습니다. Fluentd로 전달된 데이터는 tag, time, record(JSON) 로 구성된 이벤트로 처리되며, 원하는

2021년 2월 7일
·
0개의 댓글
post-thumbnail

fluentd로 용도에 맞게 어플리케이션 로그 수집하기

실세 서비스 되어지고 있는 어플리케이션을 운영하다보면 여러가지 유형의 로그가 발생한다.예를 들면어플리케이션 에러로그어플리케이션 접속로드 ( access log )결제 로그클라이언트의 개인정보가 포함된 로그등등..이렇게 많은 종류의 로그들이 발생하는 만큼.. 모두 한 곳

2020년 9월 27일
·
0개의 댓글