# hadoop
총 269개의 포스트
[Hadoop] Hadoop Basics2. Meet MapReduce
MapReduce. Map side와 Reduce side로 나뉜다. Map은 HDFS에서 데이터를 읽어온다. Mapper가 데이터를 저장할 땐 각각의 Mapper의 Filesystem disk에 intermediate data 저장하게 되며 Reducer에 데이터
2023년 3월 25일
·
0개의 댓글·
0
[Hadoop] Weather Dataset 병렬 처리 비교 - Unix Tool vs. Hadoop
National Climatic Data Centerhttp://www.ncdc.noaa.gov/기상 센서들이 수집하는 대량의 로그데이터 → semi-structured, record-oriented한 행이 하나의 레코드, 행 단위의 아스키코드 형식기상관측소별
2023년 3월 25일
·
0개의 댓글·
0
[Hadoop] Hadoop Basics 1. 왜 하둡을 사용하여야 할까?
single drive에서 모든 데이터를 읽는다면 매우 많은 시간이 소요됨multiple disks에서 한번에 읽으면 어느정도 문제 해결 가능100개의 드라이브가 있다면, 각각 1/100의 데이터만 읽기문제점Hardware failure → replication(복제)
2023년 3월 25일
·
0개의 댓글·
0
M1 맥에서 Hadoop, Spark 설치하기
스파크를 설치하기 위해서 우선 하둡이 설치되어있어야 합니다. 따라서 하둡 설치과정부터 정리해 두었습니다. 하둡 설치가 완료되면 스파크 설치과정을 따라가시면 됩니다. 1. Hadoop 설치하기 (1) JAVA 설치 확인 하둡 설치 전 자바(JAVA)가 설치되어 있는지
2023년 3월 22일
·
0개의 댓글·
0