하둡 구축 에러

hyeok2·2023년 8월 31일
0

hadoop

목록 보기
6/6

다시 클라우드에서 시작하려고 했으나..
에러가 엄청 발생했다.

1.원인

1.1 xml파일을 수정하지 않았다.

https://sparkdia.tistory.com/8
파일명 설명
etc/hadoop/core-site.xml 클러스터 내 네임노드에서 실행되는 하둡 데몬에 관한 설정
etc/hadoop/hdfs-site.xml 하둡 파일시스템에 관한 설정
etc/hadoop/yarn-site.xml Resource Manager에 관한 설정
etc/hadoop/mapred-site.xml 맵리듀스에 관한 설정
파일들을 수정해야했으나 하지 않았다.(수업시간에는 수정된 파일을 filezilla로 넣어줬었다)

아예 아무것도 뜨지 않는 상태.

1.2 bashrc 수정 에러

bashrc 수정하는 과정에서 실수로 다른걸 지웠는지 alias로 설정해놓은 명령어나 JAVA_HOME을 찾지도 못하는 초유의 사태였다. hadoop 설정에서 직접 hadoop-env.sh을 수정하여 어찌어찌 start-dfs.sh 명령어등이 먹히는 줄 알았으나...
스노우볼 그 자체였다.

namenode가 뜨지 않는 상태..

2. 해결

다시 거의 처음부터 생각하고, bashrc를 처음부터 했다.

  • 2.1 jps를 입력하여 무엇이 문제인지 상태를 확인한다.
  • 2.2 항상 로그를 보자
  • 2.2 format이 되었는지 확인한다.

    위치가 이상하게 잡혔는지 계속 문제가 있었다. -> dfs와 yarn 그리고 mr을 종료하고 hdfs namenode -format 을 해주었다.

잘 뜨는걸 확인했으니 끝!

3.소감

로그 보는거에 더 강해져야겠다.
기록하는 습관을 더 키워야겠다.

profile
땅을 파다보면 흙과 물을 보겠지만, 코드를 파다보면 답이 보일것이다.

0개의 댓글