Airflow를 사용해보자(1)

나만의 작은 데이터 파이프라인을 만들기위해 이번기회에 airflow 를 사용해보기로 했다

1.에어플로우를 설치해준다
pip3 install apache-airflow
설치가 잘 되었는지 airflow 커멘드로 확인해본다

2.airflow 라는 디렉토리가 생겼으니 들어가서 db init 을 해준다
airflow db init

일단 여기서 문제가 발생했다

이러한 에러가 계속 떴다
구글링을 해보니 pydantic버전 문제라고 한다
내가 설치해둔 버전은 2.1.2인데 이 버전에서 문제가 생기는거 같다
서칭해본바로는 1.10.10으로 다운그레이드 하니 잘 돌아갔다 해서 다운그레이딩을 했다

하고 나니까 아무 문제없이 데이터 베이스 초기화 완료 (구글만세)

3. 관리자 계정을 만들어준다
   airflow users create -u admin -p admin -f Clueless -l Coder -r Admin -e admin@admin.com

4. 잘 설치 되었는지 에어플로우 웹서버에 접속을 해본다
   나는 그냥 8080 포트를 사용했다
   아래와 같은 화면이 뜨면 성공한거다
   
   localhost:8080 으로 확인해봤다
   

install 완료!