빅데이터

빅데이터 프로젝트
수집 -> 처리 -> 탐색 -> 분석

수집 : 조직 내외부에 있는 정형, 비정형 데이터를 수집
open API, Crawling, Streaming // Flume, Storm, Esper

적재 : 수집한 데이터를 분산 스토리지에 영구 또는 임시로 적재
No-SQL(메시징 데이터 전체 영구저장)// HDFS(대용량 파일전체 영구 저장) // Kafka(대구모 메시징 데이터 전체 버퍼링처리)

처리 : Workflow, Scheduler //
탐색 : SQL
분석 : Data Mining, Machine Learning
응용 : Reporting, Data Export/import