profile
키보드 한 자루로 시작하는 데이터 엔지니어링 삽질기
post-thumbnail

Apache Airflow의 동시성 설정 이해하기 - 이론편

최근 필자의 팀에서 운영하던 Airflow가 갑작스럽게 병렬 처리되는 Task가 급격하게 증가하며 오랜 시간 대기 상태에 빠져 기존에 수행되던 파이프라인에 장애가 발생하기 시작했다. 그렇다면 동시성에 영향을 주는 요소는 무엇이 있을까?

2023년 2월 5일
·
0개의 댓글
·