# airflow
Airflow Executor Types - 1
Airflow의 Executor와 종류에 대해 알아봅니다. (LocalExecutor, CeleryExecutor 등 )
Airflow 기본 이해
ETL Model의 한계ETL은 Batch에서 주로 사용되는 파이프라인을 추상화한 모델하지만 sequential한 작업에서만 적용 가능함(복잡한 DAG에서 사용하기 어려움)하나의 작업이 하나의 머신에서만 동작하므로 물리적인 스케일의 한계가 존재(Spring Batch
BigQuery Streaming Buffer
오늘 대시보드 서비스를 하나 배포했다.대시보드 하나를 위해서 진짜 수 많은 배포 작업이 있었다..Debezium Connector, Kafka-Streams, google-flunetd, airflow, google log router, bigquery 등,,,간단한
Airflow 와 BigQuery 연결하기 + BigQuery DAG Example
BigQuery에 웹행동 이벤트 데이터를 수집하고 있다. 그 데이터들을 이리저리 만지고 옮기고 위해 Airflow를 활용하기로 했다.(물론 나혼자 결정) Airflow 는 데이터 엔지니어 직무에서 주로 ETL 작업에서 주로 사용하는 툴로 알고 있다.
[Airflow] mysql hook 모듈 import
airflow 2.0.2 버전에서는 이상 없이 import 되었던 mysql 모듈이 2.4.3 버전으로 업그레이드 하자 import 에러가 발생하였습니다. 그 해결 과정을 기술합니다.airflow 가이드에서의 MySqlHook 모듈을 복사하여 mysqlHook.py 파
Airflow 사용기 (4) - ETL
오늘은 이기종간의 postgres db의 데이터를etl 해보자상황은 A라는 서버의 postgres에서 데이터를 읽어airflow가 설치된 etl 서버에서 csv파일을 내리고B라는 postgres서버로 데이터를 옮기는 것이다.
Airflow 사용기 (3) - dag 만들기
bash 명령어를 실행하는 dag 파이프라인을 만들어 보자https://brownbears.tistory.com/584https://www.comtec.kr/2021/08/09/airflow-tutorial/
Airflow 사용기 (2) - 용어
airflow를 사용하기 위해 용어를 정리해 보자DAG : DAG 구조를 의미하기도 하며 하나의 DAG구조로 된 스케줄을 DAG라고 부름. 워크플로우 단어와 동일하게 사용Task : DAG에 속한 하나하나의 노드를 Task로 부름Upstream (Downstream)
[Airflow] docker-compose로 에어플로우 설치하기
초보자들도 과정을 따라하며 쉽게 에어플로우를 개발할 수 있도록 정리한 에어플로우 설치 방법입니다. Dockerfile을 이용하여 필요 패키지를 커스텀하여 이미지로 빌드하는 방법도 함께 정리하였습니다.
Airflow dag execution_date의 dbt 적용
기존 배치 작업들이 전부 current_date()로 dbt 모델을 실행하는 것을 발견했다. 이렇게 하면 airflow의 가장 편리한 기능인 backfill과 clear 기능을 사용해도 모든 모델이 현재 날짜를 기준으로 실행되버리기 때문에 이 부분을 개선 하려고 했고
Apache Airflow(MWAA)
AWS에서 MWAA(Amazon Managed Workflowfor Apache Airflow) 환경을 구축하며 경험했던 이야기를 다루려고 합니다.기존에 Datawarehouse는 hevo-data 라는 플랫폼을 통하여 구축되고 있었습니다.빠르고 간편하게 만들기에는 좋
[Github][k8s] ssh: Could not resolve hostname github.com: Temporary failure in name resolution
Git sync로 GitHub의 DAGs들을 Sync하고 있었는데 다음과 같은 에러 발생에러 메세지ssh: Could not resolve hostname github.com: Temporary failure in name resolution 요런 문구가 보인다면 DN
Airflow On K8s (Kubernetes) - 외부 DB를 Airflow Metadata DB로 설정하기
Airflow의 Default Helm Chart는 Metadata DB로 Container에서 동작하는 Postgre DB를 사용한다.하지만 실무에서는 AWS RDS 같은 DB를 사용한다.따라서 Airflow Metadata DB를 외부 DB롤 설정하는 방법을 알아본
linux/arm64 환경에서 Airflow Docker 이미지 구축 시 발생되는 이슈
linux/arm64 환경에서 Airflow Docker 이미지 구축 시 발생되는 이슈