Airflow 설치하기(Docker)

Alan·2023년 3월 22일

airflow

Airflow 맛보기

목록 보기

2/7

Airflow(v2.5.2) 공식 문서의 Running Airflow in Docker 섹션을 기반으로 설치, 개인 실습용으로 단일 노드(VM)을 띄워 진행함

VM 정보

OS : Centos-7.9
4 cores, 16G ram (최소 사양 4G ram)
hostname : airflow.example.com(FQDN)
ip : 192.168.56.222(Static)

docker 및 docker-compose 다운로드

docker 설치

yum install -y yum-utils
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install docker-ce docker-ce-cli containerd.io -y

systemctl start docker
systemctl enable docker
systemctl status docker

docker-compose 설치

1.29.1 version 이상 설치해야 함

sudo curl -L "https://github.com/docker/compose/releases/download/2.16.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose

# 버전 확인
docker compose version

Airflow docker-compose.yaml 다운로드

mkdir -p /usr/airflow
cd /usr/airflow
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.5.2/docker-compose.yaml'

docker compose에 mount된 dir 만들기

 mkdir -p ./dags ./logs ./plugins
 
 # docker uid setting
 echo -e "AIRFLOW_UID=$(id -u)" > .env

Database 초기화

데이터베이스 마이그레이션 및 사용자 계정 생성

$ docker compose up airflow-init

위와 같은 로그가 찍힌다면 성공적으로 수행되었다는 뜻

$ docker ps

Airflow 시작하기

# 현재 실행중인 docker process 정지
docker stop airflow-postgres-1 airflow-redis-1

docker compose -f /usr/airflow/docker-compose.yaml up 

# 정상 실행되는지 확인(Status부분 확인)