서비스를 MSA와 시키는 decoupling 작업을 하면서 SQS와 Lambda로 빅데이터를 처리 중이었다. 하지만 이 구조를 만들면서 굉장히 맘에 들지 않았다. 그 이유는 바로 Django의 ORM이나 Celery를 사용할 수 없었다는 점. 그래서 대용량 실시간 처리에 조금더 유리하다고 생각한 Kafka를 사용해보기로 했고, 이렇게 했을 때, 메세지 Consumer를 서비스 레벨에서 핸들링 할 수 있었다. 그리고 Topic별로 나누어 메세지를 처리하고 replica를 활용하여 고가용성을 유지할 수 있었기에 사용해보기로 했다. 기술적으로 해결해야했던 문제 Kafka Consumer 메세지가 kafak에 담기면 django 앱이 실시간 성으로 트리거를 받아야했는데, 그 조건이 앱 실행 시 최초 1회 consumer가 생성되고 그 이후부터 지속적으로 kafka의 토픽을 Listen하면서 메세지를 소비해야했다. 카프카 메세지 처