# airflow

90개의 포스트
post-thumbnail

Airflow 엄청 자세한 튜토리얼 #왕초심자용

에어플로우에 대한 정보를 제공하는 정확하고 전문적인 글들이 많고, 여기서는 나와 같은 초보분들을 위해 설치부터 아주 간단한 실습을 다룰 것이기 때문에 이론은 직관적으로만 설명해서 느낌만 가지고 넘어가도록 하겠다. 이론은 필요 없고 바로 실습을 원한다면, Airflow

3일 전
·
0개의 댓글

[Airflow] Airflow란?

Airflow 사용 예만약 독자가 매일 밤 12시에 트리거시켜야 하는 데이터 파이프라인을 가지고 있다고 가정해보자.파이프라인을 간략하게 나타내면 아래의 Task 와 비슷하게 구성이 되어있을 것이다.1\. Downloading Data2\. Processing Data3

3일 전
·
0개의 댓글
post-thumbnail

[Airflow] Docker에 airflow-code-editor plugin 설치하기

airflow-code-editor plugin은 DAG를 Airflow UI내에서 작성할 수 있는 plugin이다. airflow-code-editor github링크에서 더 자세한 설명과 스크린샷을 볼 수 있다.Docker가 아닌 Airflow를 바로 설치한 경우에

5일 전
·
0개의 댓글

[Airflow] Airflow vs NIFI

Apache NIFI 장점live batch streamingguaranteed delivery \- flow file 기반으로 누락없는 전송을 보장함데이터 버퍼링 \- 백 프레셔 관리 가능 Apache NIFI 우려사항실제 데이터가 커짐에 따라 GUI 및 트랙킹

2022년 6월 30일
·
0개의 댓글

[Airflow] Apache 에어플로우 (Airflow) 시작하기

Apache Airflow 란 무엇일까요 ?airflow 란 AirBnB 에서 만든 workflow management tool 입니다.workflow 는 일련의 작업의 흐름이라고 말할 수 있습니다.예를 들어서 ETL 같은 경우는 데이터를 Extractaction ->

2022년 6월 29일
·
0개의 댓글
post-thumbnail

[Airflow] 윈도우에 Docker를 이용해 Airflow 설치하기

Apache Airflow의 공식 문서를 참고했다. Docker 설치이 링크에서 설치 파일을 다운받아 그대로 진행한다. (생략) WSL 설치 참고 링크 Docker 사용을 위해서는 Hyper-v를 사용하거나 WSL를 설치해야하는데 최근 버전의 Docker는...

2022년 6월 27일
·
0개의 댓글

[Airflow] 에어플로우 시작하기 : 개념 및 설치

Airflow는 복잡한 워크플로우를 프로그래밍 방식으로 작성해서, 스케줄링하고 모니터링할 수 있는 플랫폼이다.데이터 파이프라인을 이루고 있는 ETL 스크립트들을 스케줄링할 때 crontab, cloudwatch 등을 사용하는 곳이 많다. 그러나 스크립트들이 많아지고 서

2022년 6월 27일
·
0개의 댓글
post-thumbnail

[airflow] Covid-19 ETL by bigquery #3

본격적인 DAG 만들기 및 Extract data process 구축하기

2022년 6월 18일
·
0개의 댓글
post-thumbnail

[airflow] Covid-19 ETL by bigquery #2

airflow에서 각종 provider 설치하기

2022년 6월 17일
·
0개의 댓글
post-thumbnail

[airflow] Covid-19 ETL by bigquery #1

GCP를 이용해 가상 머신 먼저 생성 및 airflow 환경 세팅 방법 정리

2022년 6월 14일
·
1개의 댓글
post-thumbnail

[airflow] branch operator 로 조건별로 task 수행시키기

branch operator를 활용해보기

2022년 6월 13일
·
0개의 댓글
post-thumbnail

[airflow] Xcoms 에 대한 리뷰

Xcom을 활용한 task들간 소통하기

2022년 6월 13일
·
0개의 댓글
post-thumbnail

[airflow] 복잡한 dag를 추상화 하기

task group을 활용한 airflow dag 추상화

2022년 6월 13일
·
0개의 댓글
post-thumbnail

[airflow] 에어플로우에서 알아야할 중요한 파라미터들!

에어플로우 parallelism, concurrency 등에 대한 리뷰

2022년 6월 10일
·
0개의 댓글
post-thumbnail

[airflow] Executor 들에 대해 알아보자 #2

celery executor 에 대한 리뷰

2022년 6월 10일
·
0개의 댓글
post-thumbnail

[airflow] Executor 들에 대해 알아보자 #1

sequential executor, local executor 에 대한 리뷰

2022년 6월 9일
·
0개의 댓글
post-thumbnail

[airflow] DAG scheduling 및 debuging!!

airflow exectuion date 및 catchup backfilling에 대해 정리

2022년 6월 9일
·
0개의 댓글
post-thumbnail

Airflow

AirBnB에서 만든 workflow management toolPython 코드로 워크플로우(workflow)를 작성하고, 스케쥴링, 모니터링 할 수 있는 플랫폼일련의 작업 흐름Not ETL → workflow 및 파이프라인을 관리하는 툴관리란?workflow 작성

2022년 6월 8일
·
0개의 댓글
post-thumbnail

[airflow] DAG에 대해 알아보고 만들어보기 #2

airflow dag 구성해보기

2022년 6월 7일
·
0개의 댓글
post-thumbnail

[airflow] DAG에 대해 알아보고 만들어보기 #1

DAG에 대한 전반적인 설명 기술

2022년 6월 2일
·
0개의 댓글