# airflow
Airflow 엄청 자세한 튜토리얼 #왕초심자용
에어플로우에 대한 정보를 제공하는 정확하고 전문적인 글들이 많고, 여기서는 나와 같은 초보분들을 위해 설치부터 아주 간단한 실습을 다룰 것이기 때문에 이론은 직관적으로만 설명해서 느낌만 가지고 넘어가도록 하겠다. 이론은 필요 없고 바로 실습을 원한다면, Airflow
[Airflow] Airflow란?
Airflow 사용 예만약 독자가 매일 밤 12시에 트리거시켜야 하는 데이터 파이프라인을 가지고 있다고 가정해보자.파이프라인을 간략하게 나타내면 아래의 Task 와 비슷하게 구성이 되어있을 것이다.1\. Downloading Data2\. Processing Data3
[Airflow] Docker에 airflow-code-editor plugin 설치하기
airflow-code-editor plugin은 DAG를 Airflow UI내에서 작성할 수 있는 plugin이다. airflow-code-editor github링크에서 더 자세한 설명과 스크린샷을 볼 수 있다.Docker가 아닌 Airflow를 바로 설치한 경우에
[Airflow] Airflow vs NIFI
Apache NIFI 장점live batch streamingguaranteed delivery \- flow file 기반으로 누락없는 전송을 보장함데이터 버퍼링 \- 백 프레셔 관리 가능 Apache NIFI 우려사항실제 데이터가 커짐에 따라 GUI 및 트랙킹
[Airflow] Apache 에어플로우 (Airflow) 시작하기
Apache Airflow 란 무엇일까요 ?airflow 란 AirBnB 에서 만든 workflow management tool 입니다.workflow 는 일련의 작업의 흐름이라고 말할 수 있습니다.예를 들어서 ETL 같은 경우는 데이터를 Extractaction ->
[Airflow] 윈도우에 Docker를 이용해 Airflow 설치하기
Apache Airflow의 공식 문서를 참고했다. Docker 설치이 링크에서 설치 파일을 다운받아 그대로 진행한다. (생략) WSL 설치 참고 링크 Docker 사용을 위해서는 Hyper-v를 사용하거나 WSL를 설치해야하는데 최근 버전의 Docker는...
[Airflow] 에어플로우 시작하기 : 개념 및 설치
Airflow는 복잡한 워크플로우를 프로그래밍 방식으로 작성해서, 스케줄링하고 모니터링할 수 있는 플랫폼이다.데이터 파이프라인을 이루고 있는 ETL 스크립트들을 스케줄링할 때 crontab, cloudwatch 등을 사용하는 곳이 많다. 그러나 스크립트들이 많아지고 서
[airflow] DAG scheduling 및 debuging!!
airflow exectuion date 및 catchup backfilling에 대해 정리
Airflow
AirBnB에서 만든 workflow management toolPython 코드로 워크플로우(workflow)를 작성하고, 스케쥴링, 모니터링 할 수 있는 플랫폼일련의 작업 흐름Not ETL → workflow 및 파이프라인을 관리하는 툴관리란?workflow 작성
