hadoop은 하나의 머신이 모든 기능(namenode, datanode, ..등)을 다 해주는 싱글 모드와 각 기능별로 여러 머신이 참여하는 멀티 모드가 있따. 클라우드에서는 멀티 모드를 사용하지만 싱글 모드에서 멀티 모드로 만들어주는 것이 모든 설정에 일관성이 있기 때문에 선호한다.
=> 나중에 슬레이브인 Docker를 설치하고 이들을 관리하는 마스터인 Kubernetes도 이와 유사하게 가까운 데이터 서버에 접속하게 하는 CDN 네트워크와도 비슷한 컨셉이다.
hadoop을 설정한 뒤 jps 해서 5(6)개의 프로세스가 보여야 한다.
SecondaryNameNode(Hadoop의 활동을 기록한 로그파일을 가지고 있다가 master(NameNode)에 오류가 있을 때 복구해 준다.
NameNode(Master 역할을 하면 모두 작업을 지시하고 데이터를 복제해서 각 DataNode에 저장시킨다)
DataNode(slave 역할을 하며 실제 데이터를 저장하고 있다.)
JobTracker(수행하는 잡을 추적: master), TaskTracker(지시한 잡을 추적:slave), (Jps)등이다.
=> 만일 jps해서 6개의 프로세스가 보이지 않으면
1. rm-rf /usr/local/hadoop/tmp 해서 기존 작업 디렉터리를 삭제하고
2. mkdir /usr/local/hadoop/tmp 해서 새롭게 생성해주고
3. chown hduser -R /usr/local/hadoop/tmp 해서 소유권을 변경하고,
4. hadoop namenode -format 해서 클라이언트 노드들을 인식시키고 하단에 ~has been successfully formatted 메시지를 확인한다.
5. 이제 start-all.sh 해준다. 새로 Hadoop을 시작할 때에도 이 명령어를 사용하면 된다.
6. 이제 start-all.sh 해준다. 새로 Hadoop을 시작할 때에도 이 명령어를 사용하면 된다.
7. jps 해서 6개의 프로세스가 실행되고 있는 것을 확인한다.
=> 만일 일부 프로세스만 안 보인다면
1. stop-all.sh 해서 JPS 프로세스를 모두 죽인 뒤,
2. 하나하나 살릴 수도 있는데
namenode는 hadoop-daemons.sh start namenode 하고, jps해보고, datanode는 hadoop-daemon.sh start datanode 하고, jps 해본다.
