airflow
1.airflow 설치 및 로컬에서 실행시키기
airflow 터미널에서 설치 및 실행시켜보기
2022년 3월 21일
2.airflow bigquery 연동시키기
구글 bigquery airflow 정복하기
2022년 3월 21일
3.building my data warehouse with Airflow on GCP.
etl pipeline을 구글 클라우드 환경에서 구축하기 위해 준비해야할 것들 google colud cli 환경 airflow google cloud 계정 전체적인 아키텍쳐 화살표 방향은 신경쓰지 말아주세요! 왼쪽에서 오른쪽으로 흐름만 보면 됩니당! 1. 데이터
2022년 3월 26일
4.airflow를 astronomer로 효과적으로 관리하기
astronomer을 통해 AIRFLOW 쉽게 관리하기
2022년 3월 26일
5.당신이 airflow를 사용해야 하는 이유
당신이 에어플로우를 써야하는 이유
2022년 4월 2일
6.airflow의 싱글 노드 멀티 노드 아키텍쳐
airflow의 아키텍쳐
2022년 5월 17일
7.[airflow] DAG에 대해 알아보고 만들어보기 #1
DAG에 대한 전반적인 설명 기술
2022년 6월 2일
8.[airflow] DAG에 대해 알아보고 만들어보기 #2
airflow dag 구성해보기
2022년 6월 7일
9.[airflow] DAG scheduling 및 debuging!!
airflow exectuion date 및 catchup backfilling에 대해 정리
2022년 6월 9일
10.[airflow] Executor 들에 대해 알아보자 #1
sequential executor, local executor 에 대한 리뷰
2022년 6월 9일
11.[airflow] Executor 들에 대해 알아보자 #2
celery executor 에 대한 리뷰
2022년 6월 10일
12.[airflow] 에어플로우에서 알아야할 중요한 파라미터들!
에어플로우 parallelism, concurrency 등에 대한 리뷰
2022년 6월 10일
13.[airflow] 복잡한 dag를 추상화 하기
task group을 활용한 airflow dag 추상화
2022년 6월 13일
14.[airflow] Xcoms 에 대한 리뷰
Xcom을 활용한 task들간 소통하기
2022년 6월 13일
15.[airflow] branch operator 로 조건별로 task 수행시키기
branch operator를 활용해보기
2022년 6월 13일
16.[airflow] Covid-19 ETL by bigquery #1
GCP를 이용해 가상 머신 먼저 생성 및 airflow 환경 세팅 방법 정리
2022년 6월 14일
17.[airflow] Covid-19 ETL by bigquery #2
airflow에서 각종 provider 설치하기
2022년 6월 17일
18.[airflow] Covid-19 ETL by bigquery #3
본격적인 DAG 만들기 및 Extract data process 구축하기
2022년 6월 18일
19.[airflow] Covid-19 ETL by bigquery #4
빅쿼리에 데이터 웨어하우스 및 데이터 마트 구축해보기!!!
2022년 6월 19일
20.[airflow] ml pipeline 및 웹 서버 자동화에 대한 고민
프로젝트 자동화 실패 경험 리뷰...
2022년 7월 26일