안녕하세요.
갈비만두를 좋아하는 개발자 임태빈입니다.
로그 시스템 구축에 대해서 공부를 하면서 로그 수집기인 Fluentd를 공부하고 있습니다. Fluentd를 엘라스틱처시와 연동하여 쓰려고 하다보니 Fluentd에서 겪을 수 있는 여러 케이스들에 대해서 테스트들에 대해 고민하게 되었습니다.
제가 생각한 케이스들에 대해서 설명을 먼저 하겠습니다.
첫번째 케이스는 Fluentd가 Elaistchsearch와 같은 저장소로 데이터를 보내고 있을 때, Elasticsearch가 갑작스럽게 동작을 못하게 된다면 Fluentd는 어떻게 대처를 해야할 것인가입니다.
두번째 케이스에 경우 Spring boot 혹은 Django와 같은 로그 데이터들을 Fluentd가 수집하고 있는 도중에 Fluentd가 종료된다면 이를 어떻게 대처할 것인가입니다.
위 두 가지 케이스들에 대해 있어 제가 생각한 아키텍처에 대해서 그려보겠습니다.
golang의 gin을 활용해서 로그데이터를 fluentd에 보내고 이를 가공해서 다시 fluentd에 보내는 것을 해보는 것을 생각했습니다. 마지막 부분에 elasticsearch를 연동하는 방법도 있지만 fluentd로 실시간으로 로그 출력을 하는 것을 보기 위해 저는 fluentd로 했습니다.
ps. gin을 활용한 거는 golang에 좀 더 익숙해지고 싶어서 썼습니다ㅎㅎ
다음 이와 관련된 포스팅에서는 gin을 만들고 dockerfile로 하여 fluentd와 연결하는 것을 해보겠습니다!!
golang과 서버 개발을 하고 있는 개발자입니다.