# data pipeline

총 8개의 포스트
post-thumbnail

[airflow] Covid-19 ETL by bigquery #2

airflow에서 각종 provider 설치하기

airflowdata pipelineetl
2022년 6월 17일
·
0개의 댓글

Data Pipeline Design Patterns

Data Pipeline Design Patterens

data pipeline
2022년 4월 7일
·
0개의 댓글
post-thumbnail

Airflow CeleryExecutor 설치하기 @ Local

Airbnb에서 만든 Workflow 관리 오픈소스 소프트웨어입니다. 많은 기업에서 데이터 파이프라인 운용에 사용하고 있습니다.

CeleryExecutorMacOSairflowcelerydatadata pipelinepipelineworkflow데이터데이터 파이프라인로컬워크플로우파이프라인
2022년 1월 26일
·
0개의 댓글

Airflow 동작 방식

Airflow 아키텍쳐와 동작 스케줄

airflowbig dataconceptdata pipelinemlops
2022년 1월 6일
·
0개의 댓글
post-thumbnail

Airflow란?

Airflow에 대한 개념

airflowbigdataconceptdata pipelinemlops
2021년 12월 23일
·
1개의 댓글
post-thumbnail

Prefect 주요 구조 - Agent, UI sever

prefect 구성 요소에는 크게 UI 서버, Agent가 있다. https://docs.prefect.io/orchestration위 그림은 프리펙트 클라우드 서비스를 쓸 경우의 구조도이다. 오른쪽 cloud ui가 prefect의 UI 서버이다. Flow,

data pipelineetlprefect
2021년 8월 16일
·
0개의 댓글
post-thumbnail

[prefect] Prefect란? - Task, Flow, Parameter

airflow와 같은 workflow orchestration tool인 prefect에 대해 알아보자.prefect는 데이터 파이프라인을 구축하는데 쓰인다.데이터는 만들어질 때 작업들 간의 dependency가 있는데 이것을 관리해준다.예를 들어 매출 데이터, 유저

data pipelineetlprefectworkflow orchestration
2021년 8월 16일
·
0개의 댓글
post-thumbnail

AWS Data Pipeline vs AWS Glue

두개의 ETL 서비스에 대해 알아보고 비교

GLUEawsdata pipeline
2021년 7월 3일
·
0개의 댓글