대용량 파일 내용추출하기

50GB 파일의 내용을 추출할때 사용시 빠르게 추출되었습니다

설명

• 20MB 데이터만 추출합니다
• 추출된 마지막줄은 삭제합니다
  • 데이터크기 기준으로 추출되기 때문에 마지막 문자열이 빈번하게 깨집니다 (인코딩깨짐을 방지)

일반파일

head -c 20M big.txt > small.txt && sed -i '$d' small.txt

압축파일인

zcat big.gz | head -c 20M > ./small.txt && sed -i '$d' small.txt