Zookeeper
- Zookeeper는 클러스터의 모든 것을 조직화하는 기술.
- 어떤 노드가 살아있는지 추적할 수 있고 여러 애플리케이션이 사용하는 클러스터의 공유 상태를 안정적으로 확인할 수 있다.
- 많은 애플리케이션이 Zookeeper에 의존.
- 그래서 어떤 노드가 다운되더라도 일관성 있고 안정적인 성능을 온 클러스터에 걸쳐 유지할 수 있게함. - 어떤 것이 마스터 노드이며 어떤 노드가 살아있고 다운되어 있는지 추적하는데 사용할 수 있다.
Sqoop
- Sqoop은 Hadoop의 데이터베이스를 관계형 데이터베이스로 엮어낸다.
- ODBC나 JDBC로 소통 가능한 데이터는 Sqoop을 통해 HDFS의 파일로 변형할 수 있다.
- Sqoop은 레거시 데이터베이스와 Hadoop을 잇는 연결 장치.
FLUME
- FLUME을 가지고 대규모 웹로그를 안정적으로 클러스터에 불러올 수 있다.
예로 웹 서버 여러 개를 가지고 있다고 합시다 FLUME은 실시간으로 웹 서버의 웹로그를 감시하고 클러스터에 게시해 STORM이나 Spark Streaming을 사용해 처리한다.
Kafka
- Kafka도 데이터 수집을 하지만 좀 더 포괄적으로 사용된다.
- PC 혹은 웹 서버 클러스터에서 모든 종류의 데이터를 수집해 Hadoop 클러스터로 보낸다.
