NiFi

Apache NiFi는 NSA 즉, National Security Agency에서 Apache에 기증한 Dataflow 엔진데이터

1. NiFi 설치 > 차례 NiFi가 JVM 위에서 구동하기에, Java를 설치해야한다. Java 설치 후에 NiFi를 설치한다. NiFi는 HTTPS가 Default이므로 HTTP로 통신할 수 있도록 설정을 변경해야한다. 1.1 Java 설치 > * Ubun

NiFi log 정리

NiFi는 (1.24.0 Version 기준으로) 354개의 프로세서를 가지고 있다.

Local To Local

Local To Snowflake

이제는 NiFi만 있으면 어디든 Data를 보낼 수 있다. 이것만 보면,

Internal Stage 활용

- CSV To Json 실습

생각해보니 Local To Snowflake는 해봤는데,Local에서 DB로 Loading을 해보지 않아서 생각난 김에 진행.

3개의 머신(인스턴스)으로 NiFi Cluster를 구성하기Apache Zookeeper로 NiFi를 Clustering 하고, 그 방법 정리하기그 중, Part.1 은 외부 Zookeeper를 설치한 다음에 그것을 적용한다.

[NiFi] REST API TO DB 실습

NiFi에서 Python Code 실행하고 영향을 주기.