[Hadoop] Hdfs 여러 파일을 한개로 합치기!

Hadoop Echosystem을 운용하다 보면 Output 디렉토리에 여러 파일이 생기는 경우가 있다. 파일의 경우 하나의 파일로 나오지 않고 여러 파일로 생성이 되는데 이는 병렬 처리가 되는 과정에서 병목 현상을 줄이기 위해 여러개의 output파일로 만든다 get

2022년 7월 13일
·
0개의 댓글
·

[Hadoop] Hadoop NameNode Cluster 상태 전이

Hdfs 운용중에 NameNode 클러스터를 구성하면서 네임노드와 StandBy네임노드 간의 상태전이가 이루어지는데 동시에 StandBy모드로 빠지는 경우가 종종 있다( Zookeeper 재시작, Hadoop Cluster Restart, SafeMode) 등등 😭

2022년 6월 14일
·
0개의 댓글
·

[Hadoop] Yarn ResourceManager 변경

리소스 매니저를 고가용성(HA)로 운영중인 경우 강제로 하나의 리소스 매니저를 스텐바이 모드로 변경이 필요한 경우가 있다. 이러한 경우 다음 아래 커맨드를 활용하여 모드를 변경✌!Hadoop Reference 참조

2022년 5월 2일
·
0개의 댓글
·