profile
나는 하림

Shell Script 분석 연습 - Hadoop start-all.sh

작성계기 요즘 Shell Script에 대해서 공부하고 있다. 연습이 필요해 Hadoop의 start-all.sh라는 스크립트를 분석해보면서 공부했던 내용도 리마인드하고 몰랐던 내용도 새로 알아보기 위해 시도해보았다. start-all.sh라는 스크립트는 Hadoo

2021년 11월 13일
·
0개의 댓글
·

HDFS Cluster 구성

Apache Nutch라는 OpenSource 분산 크롤러를 사용하기 위해서는 Hadoop Cluster가 필요하다. 그래서 Linux(ubuntu) 서버 2대를 활용해 HDFS 구성 테스트를 진행해보았다.wget을 이용하여 Hadoop 3.2.2 version을 설치

2021년 5월 13일
·
0개의 댓글
·
post-thumbnail

Hadoop 메모

공부를 해보면서 Hadoop이라는 단어를 쓸 때 어떤 것을 지칭하는 지 확실히 해야 한다는 것을 느꼈음. 여러 문서를 읽어본 결과, 각각 문서에서 Hadoop이란 단어의 정확한 의미가 각자 다름. 예를들면..Hadoop이란 단어를 Hadoop Ecosystem 전체를

2021년 4월 18일
·
0개의 댓글
·