[스터디] 실리콘밸리에서 날아온 데이터 엔지니어링 스타터 키트 with Python (6기) - 5,6,7주차

• 5,6,7주차 크게 Airflow의 딥한 내용과 실습 위주로 진행되었었음.

Airflow DeepDive

• DELETE FROM vs. TRUNCATE

• Q. DAG에는 TASK가 몇개만 좋을까

  • 태스크 부하가 많으면 원하는 시간에 잘 안될 수 있음.
    • 태스크수와 태스크시간을 적절하게 잘 분배하는게 중요함. (정답은 있지 않음)

  과제

• Weather_Forecast DAG 구현

• Airflow 환경 설정 변경