# airflow

201개의 포스트
post-thumbnail

Airflow Executor Types - 1

Airflow의 Executor와 종류에 대해 알아봅니다. (LocalExecutor, CeleryExecutor 등 )

1일 전
·
0개의 댓글
·

Airflow 기본 이해

ETL Model의 한계ETL은 Batch에서 주로 사용되는 파이프라인을 추상화한 모델하지만 sequential한 작업에서만 적용 가능함(복잡한 DAG에서 사용하기 어려움)하나의 작업이 하나의 머신에서만 동작하므로 물리적인 스케일의 한계가 존재(Spring Batch

2일 전
·
0개의 댓글
·
post-thumbnail

BigQuery Streaming Buffer

오늘 대시보드 서비스를 하나 배포했다.대시보드 하나를 위해서 진짜 수 많은 배포 작업이 있었다..Debezium Connector, Kafka-Streams, google-flunetd, airflow, google log router, bigquery 등,,,간단한

6일 전
·
0개의 댓글
·

Airflow 와 BigQuery 연결하기 + BigQuery DAG Example

BigQuery에 웹행동 이벤트 데이터를 수집하고 있다. 그 데이터들을 이리저리 만지고 옮기고 위해 Airflow를 활용하기로 했다.(물론 나혼자 결정) Airflow 는 데이터 엔지니어 직무에서 주로 ETL 작업에서 주로 사용하는 툴로 알고 있다.

7일 전
·
0개의 댓글
·

[Airflow] mysql hook 모듈 import

airflow 2.0.2 버전에서는 이상 없이 import 되었던 mysql 모듈이 2.4.3 버전으로 업그레이드 하자 import 에러가 발생하였습니다. 그 해결 과정을 기술합니다.airflow 가이드에서의 MySqlHook 모듈을 복사하여 mysqlHook.py 파

2023년 3월 8일
·
0개의 댓글
·

Airflow 사용기 (4) - ETL

오늘은 이기종간의 postgres db의 데이터를etl 해보자상황은 A라는 서버의 postgres에서 데이터를 읽어airflow가 설치된 etl 서버에서 csv파일을 내리고B라는 postgres서버로 데이터를 옮기는 것이다.

2023년 3월 4일
·
0개의 댓글
·

Airflow 사용기 (3) - dag 만들기

bash 명령어를 실행하는 dag 파이프라인을 만들어 보자https://brownbears.tistory.com/584https://www.comtec.kr/2021/08/09/airflow-tutorial/

2023년 3월 4일
·
0개의 댓글
·

Airflow 사용기 (2) - 용어

airflow를 사용하기 위해 용어를 정리해 보자DAG : DAG 구조를 의미하기도 하며 하나의 DAG구조로 된 스케줄을 DAG라고 부름. 워크플로우 단어와 동일하게 사용Task : DAG에 속한 하나하나의 노드를 Task로 부름Upstream (Downstream)

2023년 3월 1일
·
0개의 댓글
·

Airflow 사용기 (1) - 설치

에어플로우를 설치해보자

2023년 3월 1일
·
0개의 댓글
·
post-thumbnail

[Airflow] Trouble Shoot 및 기본 예제 실행

리소스 관련 이슈를 해결하고 Airflow 예제를 실행해보자...!

2023년 2월 25일
·
0개의 댓글
·
post-thumbnail

[Airflow] Airflow Setup하기

Airflow를 Setup해보자 ..!!

2023년 2월 24일
·
0개의 댓글
·
post-thumbnail

[Airflow] docker-compose로 에어플로우 설치하기

초보자들도 과정을 따라하며 쉽게 에어플로우를 개발할 수 있도록 정리한 에어플로우 설치 방법입니다. Dockerfile을 이용하여 필요 패키지를 커스텀하여 이미지로 빌드하는 방법도 함께 정리하였습니다.

2023년 2월 21일
·
0개의 댓글
·
post-thumbnail

Airflow dag execution_date의 dbt 적용

기존 배치 작업들이 전부 current_date()로 dbt 모델을 실행하는 것을 발견했다. 이렇게 하면 airflow의 가장 편리한 기능인 backfill과 clear 기능을 사용해도 모든 모델이 현재 날짜를 기준으로 실행되버리기 때문에 이 부분을 개선 하려고 했고

2023년 2월 20일
·
0개의 댓글
·
post-thumbnail

Apache Airflow(MWAA)

AWS에서 MWAA(Amazon Managed Workflowfor Apache Airflow) 환경을 구축하며 경험했던 이야기를 다루려고 합니다.기존에 Datawarehouse는 hevo-data 라는 플랫폼을 통하여 구축되고 있었습니다.빠르고 간편하게 만들기에는 좋

2023년 2월 18일
·
0개의 댓글
·
post-thumbnail

[Github][k8s] ssh: Could not resolve hostname github.com: Temporary failure in name resolution

Git sync로 GitHub의 DAGs들을 Sync하고 있었는데 다음과 같은 에러 발생에러 메세지ssh: Could not resolve hostname github.com: Temporary failure in name resolution 요런 문구가 보인다면 DN

2023년 2월 16일
·
0개의 댓글
·
post-thumbnail

Airflow On K8s (Kubernetes) - 외부 DB를 Airflow Metadata DB로 설정하기

Airflow의 Default Helm Chart는 Metadata DB로 Container에서 동작하는 Postgre DB를 사용한다.하지만 실무에서는 AWS RDS 같은 DB를 사용한다.따라서 Airflow Metadata DB를 외부 DB롤 설정하는 방법을 알아본

2023년 2월 15일
·
0개의 댓글
·
post-thumbnail

초간단 로컬에서 airflow 띄워보기

Airflow 간단히 로컬에 설치해보기

2023년 2월 12일
·
0개의 댓글
·
post-thumbnail

date 및 스케줄 개념

Airflow의 시간은 거꾸로 간다😱

2023년 2월 7일
·
0개의 댓글
·
post-thumbnail

dag 실행시 argument를 전달하여 실행하는 방법

argument로 유연하게 dag 실행하는 법

2023년 2월 7일
·
0개의 댓글
·

linux/arm64 환경에서 Airflow Docker 이미지 구축 시 발생되는 이슈

linux/arm64 환경에서 Airflow Docker 이미지 구축 시 발생되는 이슈

2023년 2월 6일
·
0개의 댓글
·