안녕하세요.
갈비만두를 좋아하는 개발자 임태빈입니다.
새로운 토이 프로젝트로 kafka에 전송되는 로그 메시지를 consumer를 통해 받고
그 데이터에서 메시지만 추출하는 것을 해보려고 합니다.
여러가지를 추출 할 수 있지만 이번에는 메시지만 추출하는 것을 해보면 좋겠다고 생각했습니다.
여기서 쓰일 기술 스택은 Kafka,Go,fluentd이 정도일거 같습니다.
go의 gin 서버에서 로그를 fluentd에 보내고 fluentd에서 이를 카프카에 보낸다음 이를 다시 go의 컨슈머가 처리하는 형식으로 갈 계획입니다.
이 컨슈머에서 파이프라인으로 구축해 볼 예정입니다. 또한,데이터를 정규식을 통해 매칭을하여 메시지만 추출 할 수 있는 것은 만들어보겠습니다.
마지막으로 간단하게 구상도를 보여드리면서 오늘 글은 끝내보도록 해보겠습니다:) 
golang과 서버 개발을 하고 있는 개발자입니다.