Airflow slowstart

오픈소스 워크플로우 관리 플랫폼인 airflow 소개와 도입 계기

airflow 설치부터 dag 생성까지

튜토리얼은 매우 쉬웠지만 에어플로우를 운영 환경에서 사용하기 위해 도입하는 과정에서 크고 작은 문제들이 있었다. 해결한 문제도 있고 땜빵만 해둔 문제도 있지만 일단 정리해보자.

하나의 task를 가진 dag를 여러 dag_run으로 띄울 수 없는지 찾아보다가 발견하게 된 airflow dag를 더 빠르게 수행하는 법.

on_success_callback과 on_failure_callback이 너무 많은 알림을 보낼 때 해결방법

airflow를 잘 쓰고 있었는데 갑자기 UI에서 Connections 메뉴에 들어가면 오류가 발생하기 시작했다.