Airflow
1.Airflow Introduction
Airbnb에서 만든 워크플로우 관리 툴Python framework를 이용하여 배치 지향 워크플로우(batch-oriented workflow)를 프로그래밍 방식으로 작성하고 스케쥴링 및 모니터링하는 플랫폼워크플로우를 Task의 비순환 그래프(directed acy
2023년 5월 20일
2.Airflow Configuration
parallelism단일 Airflow 환경 내에서 동시에 실행될 수 있는 최대 task의 수이 설정을 32로 설정하면 모든 DAG에서 한 번에 32개 이하의 task를 실행할 수 있음Task가 오랫동안 queuing 상태라면 이 값을 늘려야 함기본값은 32max_ac
2023년 6월 26일