[13기] 실리콘밸리에서 날아온 데이터 엔지니어링 스타터 키트 with Python

SQLPythonAirflowETL/ELT 관리도구 AirflowETL : 바깥에서 데이터 가져오기 -> 데이터 엔지니어의 역할ELT : 내부 데이터를 재조합하기AWS프로덕션 데이터베이스는 mysql postgre 등을 사용, 서비스 운영에 필요한 필수적인 데이터 저장

summary table (=ELT) summary table은 밑단 테이블(콜센터 솔루션 등)이 바뀌더라도 그 내부를 알아야 할 필요가 없기 때문에 유용하다. 써머리 테이블만 대시보드, 데이터 분석 등에 사용 (Looker) Being consistent is mor

데이터 파이프라인 (=ETL, 크게 보면 ELT) 데이터 프로세싱을 위해 실행하는 코드 ETL: Extract, Transform and Load Data Pipeline, ETL, Data Workflow, DAG <- 다 동일어 ETL (Extract, Trans

멱등성 한 번 수행, 여러 번 수행한 결과가 같다. (ex:어떤 수에 1을 곱하는 연산은 여러 번 수행해도 처음 수행과 결과가 같으므로 멱등하다.) 데이터 파이프라인이 연속 실행되었을 때 소스에 있는 데이터가 그대로 DW로 저장되어야함을 이야기 (소스 데이터 = DW

Airflow.cfg > 💡 Windows기반 Docker 사용 시 airflow.cfg 파일 접근, 수정 방법 Docker GUI 실행 docker-webserver 컨테이너 클릭 Files 탭 클릭 opt > airflow > airflow.cfg Airflow