# bigdata
Airflow
Airbnb에서 개발한 워크플로우 관리도구ex) Oozie스케쥴링Python 기반Task를 DAG의 형태로 구성웹서버, 스캐쥴러, 워커로 구성되어있다웹서버Flask기반, 웹UI를 통해 DAG의 성공여부를 확인 할 수도 있다.작업실행 or 재시작로그확인Referenceh
[토스] 데이터의 흐름과 활용
<데이터 흐름도>db와 서비스 API의 로그를 Extract하는 과정로그를 입수하는 과정에서 여러 휴먼에러가 있었고 히스토리를 찾기 어려웠다.로그 정의 시스템 개발 (서비스별 로그를 정의하고 검색 및 관리 할 수 있는 툴)kafka에 적재된 토픽 로그들은 스트리
OLAP이란?
OLTP -> D.W -> D.M -> OLAP (바로 초이스 할 수 있는형태)기업활동에 필요한 자동화 프로세스OLTP (Online Transaction Processing)네트워크상의 여러 이용자가 실시간으로 데이터베이스의 데이터를 갱신하거나 조회하는 등의 단위 작
"'데이터 무결성' 확보해야 하지만... 흔한 함정 4가지"를 읽고
IDG Connect - 데이브 랭톤(마틸리안의 제품 담당 부사장) : '데이터 무결성' 확보해야 하지만... 흔한 함정 4가지: 문제를 해결하기위한 계획이라는 의미로 자주 사용된다. plan (계획, 새로운 사업 구상) '에 가까운 말.: 기업들이 EU 가입국에서 발
맵리듀스로 그리는 빅데이터 지도
빅'데이터 처리의 기본패턴 제타바이트(Zettabyte, $10^{21}$) 단위까지 증가한 데이터, 즉 빅데이터를 처리하기 위한 방법은 성능이 좋은 컴퓨터를 써야한다. 혹은 컴퓨터를 여러 대를 연결한 뒤 작업을 분할해 사용할 수도 있다. 멀티 코어, 멀티 프로세서 등
 (1).PNG?w=768)
