HadoopEchoSystem 운용하기

applicationId = application_1652259389202_0189추가 옵션은 --input-null-string과 --input-null-non-string이 있으며 전체적인 커맨드를 보면 다음 아래와 같이 작성됨

Hdfs 운용중에 NameNode 클러스터를 구성하면서 네임노드와 StandBy네임노드 간의 상태전이가 이루어지는데 동시에 StandBy모드로 빠지는 경우가 종종 있다( Zookeeper 재시작, Hadoop Cluster Restart, SafeMode) 등등 😭

리소스 매니저를 고가용성(HA)로 운영중인 경우 강제로 하나의 리소스 매니저를 스텐바이 모드로 변경이 필요한 경우가 있다. 이러한 경우 다음 아래 커맨드를 활용하여 모드를 변경✌!Hadoop Reference 참조

Hadoop Echosystem을 운용하다 보면 Output 디렉토리에 여러 파일이 생기는 경우가 있다. 파일의 경우 하나의 파일로 나오지 않고 여러 파일로 생성이 되는데 이는 병렬 처리가 되는 과정에서 병목 현상을 줄이기 위해 여러개의 output파일로 만든다 get

HBase를 껐다 켰다 하는 경우 Hbase 마스터가 hbase regionserver 의 목록들을 업데이트 하지 않을경우 주키퍼 zkNode와 데이터 정합성이 일치 하지 않아 발생 Master에 이상이 생기는 경우가 종종 발생하는데 임시적으로 아래와 같은 커맨드를

HDFS를 운용하다 보면 데이터 블록에 문제가 생기는 경우가 종종 있다( 비정상 종료 등등)이러한 충돌 문제가 일어나는 것은 CORRUPT 상태와 복제 개수 부족일 때 일어난다. HDFS는 일반적으로 데이터 블록에 문제가 발생 하는 경우 다른 데이터 노드의 복제되어

HDFS 세이프모드는 데이터노드를 수정할 수 없는 상태 즉 읽기전용상태가 되는것을 말하며 비정상적으로 종료(서버 다운) 등이 되었을때 주로 세이프모드로 진입한다. 세이프 모드로 진입하는 경우 데이터 추가와 삭제가 불가능하며 데이터 복제도 일어나지 않는다.또한 사용자 및

✨ Hive External 테이블과 Parquet 저장 파일 매핑 회사에서 Spark SQL를 이용해 Postgres RDB 에서 HDFS내의 Parquet형식으로 저장된 컬럼형 데이터들을 HDFS 내부에 적재해놓고 적재한 데이터를 기존에 사용중이던 Hue에서 Hi