Apache Airflow

BashOperator, PythonOperator, task 와 operator 비교 등

schedule_interval, cron 스케줄링, backfill, catchup, 원자성, 멱등성 등

Jinja template {{ }} 을 통해 런타임에 변수 삽입, python_callable 로 callable 전달, op_args, op_kwrags, template variable 검사 등

task 간 데이터 공유, PostresOperator 로 PostgreSQL 에 쿼리하기

pytest 로 단위 테스트, mocking, fixture, DAG 재사용, DB mocking 등

xcom 은 독립된 task 간 데이터를 공유하는 방법 중 하나xcom_push, xcom_pull 을 통해 직렬화 가능한 객체를 저장한다. pickle 로 객채 째로 저장하기 때문에 소규모 데이터에만 사용 권장

Airflow Opeator는 template_ext 로 특정 파일 확장자를 가진 파일 내용을 Jinja 템플릿으로 렌더링 가능하게 설정. 확장자가 매칭될 경우 런타임에 동적으로 템플릿화하여 적용

git-sync 로 DAG git repository 연동하기

CeleryExecutor, KubernetesExecutor