HDFS 명령어

Log·2022년 9월 12일
1

문서 목적

해당 문서는 hdfs 명령어에 대해 정리하기 위해 작성된 문서이다.

hdfs 기본

hdfs 파일 저장

hdfs dfs -put Sample.txt /tmp

hdfs 파일 확인

hdfs dfs -ls /tmp

hdfs 저장한 파일 내용 보기

hdfs dfs -cat /tmp/Sample.txt

hdfs에 저장한 파일 상태 확인

# 파일 크기 %b, 파일 블록 크기 %o, 복제 수 %r, 소유자명 %u, 파일명 %n
hdfs dfs -stat '%b %o %r %u %n' /tmp/Sample.txt

hdfs에 저장한 파일 이름 변경

hdfs dfs -mv /tmp/Sample.txt /tmp/Sample2.txt

hdfs 파일 시스템 상태 검사

# 전체 크기, 디렉터리 수, 파일 수, 노드 수 등 파일 시스템의 전체 상태
hdfs fsck /
# 하둡 파일 시스템의 기본 정보 및 통계
hdfs dfsadmin -report

hdfs 저장된 파일을 로컬로 이동

hdfs dfs -get /tmp/Sample2.txt

hdfs 저장한 파일 삭제

hdfs dfs -rm /tmp/Sample2.txt # 우선은 임시 삭제 후 특정시간이 지나면 완전 삭제
# 임시 삭제가 필요 없는 경우
hdfs dfs -rm /tmp/Sample2.txt -skipTrash

비정상 상태

hdfs 점검에서 파일 시스템 문제가 발생할 경우 "CORRUPT FILES", "MISSING BLOCKS", "MISSING SIZE", "CORRUPT BLOCKS" 등의 항목에 숫자가 표기된다.

# 안전 모드 상태라면 해제
hdfs dfsadmin -savemode leave
# 손상된 파일 강제 삭제
hdfs fsck / -delete
# 손상된 파일을 /lost + found 디렉토리로 옮김
hdfs fsck / -move
profile
열심히 정리하는 습관 기르기..

1개의 댓글

comment-user-thumbnail
2022년 9월 14일

너무 잘 보고 있습니다

답글 달기