[Airflow] docker기반 Airflow 설치하기

docker 기반 Airflow 설치하기## docker 기반 Airflow 설치하기

!docker, docker-compse는 설치되어있다고 생각.

1. Airflow 설치 폴더 생성

$mkdir Airflow
$cd Airflow

2. docker-compose yaml 파일 다운로드

$curl -LfO -k "https://airflow.apache.org/docs/apache-airflow/2.5.1/docker-compose.yaml"

3. docker-compose yaml 파일 설정

$vi docker-compose.yaml
#docker-compose.yaml
  volumes:
    - ${AIRFLOW_PROJ_DIR:-.}/dags:/opt/airflow/dags
    - ${AIRFLOW_PROJ_DIR:-.}/logs:/opt/airflow/logs
    - ${AIRFLOW_PROJ_DIR:-.}/plugins:/opt/airflow/plugins
    - /home/airflow/BATCH_JOB:/opt/JOB  #<------- <예시> 실제경로:Airrflow 내부 호출 시, 사용 경로

4. 필요한 작업 폴더 생성

$mkdir ./dags ./logs ./plugins

5. 환경변수 설정

$echo -e "AIRFLOW_UID=$(id -u)\nAIRFLOW_GID=0" > .env

6. airflow DB 마이그래이션/최초 user계정 생성

# [초기값] ID : airflow, PW : airflow
$docker-compose up airflow-init

docker-compose 오류나면 docker compose 으로 사용해보기

7. airflow 실행 (http://설치서버IP:8080 확인)

docker-compose up

8. airflow 종료

docker-compose down