[Kafka] Consumer(Kafka-Spark)

개요

• S3 -> Kafka -> Spark
• Kafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴
• Kafka-python API를 사용하여 Python Consumer 개발 예정

Install

pip install kafka-python

코드

• Consumer(Python)
  • topic 이름은 sendvideo로 받음
    

결과

• Consumer
  

URL

Walker