# hadoop

269개의 포스트

Hadoop 13. 그 외의 기술들

The Best of the rest

2023년 4월 19일
·
0개의 댓글
·
post-thumbnail

Hadoop 13. Stream processing

Spark Streaming, Storm, Flink

2023년 4월 19일
·
0개의 댓글
·
post-thumbnail

Hadoop 12. Kafka, Flume

Kafka, Flume

2023년 4월 18일
·
0개의 댓글
·

Hadoop 11. Zeppelin, Hue

Zeppelin, Hue

2023년 4월 18일
·
0개의 댓글
·
post-thumbnail

Hadoop 10. Managing Cluster

YARN, TEZ, Mesos, Zookeeper, Oozie

2023년 4월 17일
·
0개의 댓글
·
post-thumbnail

Hadoop 9. Query Engines

Query Engines

2023년 4월 14일
·
0개의 댓글
·

Hadoop 8. NoSQL

NoSQL

2023년 4월 12일
·
0개의 댓글
·

Hadoop 7. Sqoop

Sqoop

2023년 4월 12일
·
0개의 댓글
·

Hadoop 6. Hive

Hive

2023년 4월 12일
·
0개의 댓글
·

Hadoop 5. Spark

Spark

2023년 4월 11일
·
0개의 댓글
·
post-thumbnail

Hadoop 4. Pig

Pig

2023년 4월 11일
·
0개의 댓글
·

Hadoop 3. MapReduce

MapReduce

2023년 4월 10일
·
0개의 댓글
·
post-thumbnail

Hadoop 2. HDFS

HDFS

2023년 4월 10일
·
0개의 댓글
·
post-thumbnail

Hadoop 1. 개요

Hadoop 개요

2023년 4월 7일
·
0개의 댓글
·
post-thumbnail

03. Install Hadoop (HDFS)

Install Hadoop & Configure HDFS

2023년 3월 29일
·
0개의 댓글
·
post-thumbnail

[Hadoop] Hadoop Basics2. Meet MapReduce

MapReduce. Map side와 Reduce side로 나뉜다. Map은 HDFS에서 데이터를 읽어온다. Mapper가 데이터를 저장할 땐 각각의 Mapper의 Filesystem disk에 intermediate data 저장하게 되며 Reducer에 데이터

2023년 3월 25일
·
0개의 댓글
·
post-thumbnail

[Hadoop] Weather Dataset 병렬 처리 비교 - Unix Tool vs. Hadoop

National Climatic Data Centerhttp://www.ncdc.noaa.gov/기상 센서들이 수집하는 대량의 로그데이터 → semi-structured, record-oriented한 행이 하나의 레코드, 행 단위의 아스키코드 형식기상관측소별

2023년 3월 25일
·
0개의 댓글
·
post-thumbnail

[Hadoop] Hadoop Basics 1. 왜 하둡을 사용하여야 할까?

single drive에서 모든 데이터를 읽는다면 매우 많은 시간이 소요됨multiple disks에서 한번에 읽으면 어느정도 문제 해결 가능100개의 드라이브가 있다면, 각각 1/100의 데이터만 읽기문제점Hardware failure → replication(복제)

2023년 3월 25일
·
0개의 댓글
·
post-thumbnail

[Hadoop] Hadoop 3.3.0 standalone 서버 구축 삽질기

Hadoop standalone 서버 구축 가이드

2023년 3월 23일
·
0개의 댓글
·
post-thumbnail

M1 맥에서 Hadoop, Spark 설치하기

스파크를 설치하기 위해서 우선 하둡이 설치되어있어야 합니다. 따라서 하둡 설치과정부터 정리해 두었습니다. 하둡 설치가 완료되면 스파크 설치과정을 따라가시면 됩니다. 1. Hadoop 설치하기 (1) JAVA 설치 확인 하둡 설치 전 자바(JAVA)가 설치되어 있는지

2023년 3월 22일
·
0개의 댓글
·