# data pipeline
총 8개의 포스트

Airflow CeleryExecutor 설치하기 @ Local
Airbnb에서 만든 Workflow 관리 오픈소스 소프트웨어입니다. 많은 기업에서 데이터 파이프라인 운용에 사용하고 있습니다.
2022년 1월 26일
·
0개의 댓글
Prefect 주요 구조 - Agent, UI sever
prefect 구성 요소에는 크게 UI 서버, Agent가 있다. https://docs.prefect.io/orchestration위 그림은 프리펙트 클라우드 서비스를 쓸 경우의 구조도이다. 오른쪽 cloud ui가 prefect의 UI 서버이다. Flow,
2021년 8월 16일
·
0개의 댓글
[prefect] Prefect란? - Task, Flow, Parameter
airflow와 같은 workflow orchestration tool인 prefect에 대해 알아보자.prefect는 데이터 파이프라인을 구축하는데 쓰인다.데이터는 만들어질 때 작업들 간의 dependency가 있는데 이것을 관리해준다.예를 들어 매출 데이터, 유저
2021년 8월 16일
·
0개의 댓글