📖 Apache NIFI Processor
NIFI에서 Kafka와 Hadoop HDFS를 이용해 파일을 적재하기 위한 설정을 위한 테스트
테스트에 진행한 전체적인 NIFI Processor 는 다음과 아래와 같다.
GenerateFlowFile: FlowFile 을 생성하는 테스트 용도로 사용
PublishKafka_2_6: Kafka Cluster로 데이터를 전송하는 Processor
ConsumeKafka_2_6: Kafka Cluster로부터 데이터를 전송하는 Processor
MergeContent: 작은단위로 들어오는 Kafka의 토픽 데이터를 일정 크기만큼 쌓는 역할을 하는 Processor
PutHDFS: HDFS로 데이터를 저장하는 Processor
📖 1.GenerateFlowFile