이를 위해 필요한 S/W

• Docker

• Docker Compose

• Linux

Linux와 Docker를 이용하여 Local에 airflow를 구축할 예정이므로, window 사용자의 경우 Linux와 Docker를 설치해주어야 한다.

나의 경우 이미 설치된 vscode의 wsl을 실행하고, vscode의 extension에서 설치한 docker를 활용하였음 !

---

pip 설치하기

airflow의 DAG는 python으로 작성한다. python으로 DAG를 작성 시 필요한 라이브러리 중 하나인 pip 를 설치 !

1) apt를 업데이트
sudo apt update

2) pip 설치
sudo install python3-pip

3) pip 설치 여부 확인
pip --version

4) airflow 라이브러리 설치
pip install apache-airflow

4-1) 라이브러리를 설치 시 오류가 발생한다면, 가상환경 안에 들어가서 airflow 설치

---

workspace 및 설정 디렉토리 생성

workspace 생성

홈 디렉토리에서 airflow를 위한 aiflow workspace를 생성(airflow라는 폴더를 생성)하고 필요한 디렉토리 생성
mkdir airflow
mkdir -p ./dags ./logs ./plugins

• airflow : airflow 관련 디렉토리와 설정 파일 등을 담을 workspace
• dags : DAG 파일들이 위치할 곳. 즉 파이썬 스크립트 .py를 여기에 저장하면 된다.
• logs : task 실행 및 스케줄러의 로그가 담겨진다.
• plugins : 사용자 정의 플러그인을 여기에 넣을 수 있다.

설정 파일 생성

./airflow로 이동하여 .env 파일을 생성해준다.
Airflow 공식 홈페이지의 설치 방법에 따라 설치하기 위해서는 Linux 상에서 host user id를 알아야 하고 group id가 0이어야 한다. 그렇지 않으면 dags, logs, plugins 안에 생성되는 파일은 root user로 생성된다.