AWS에서 MWAA(Amazon Managed Workflowfor Apache Airflow) 환경을 구축하며 경험했던 이야기를 다루려고 합니다.
기존에 Datawarehouse는 hevo-data 라는 플랫폼을 통하여 구축되고 있었습니다.
빠르고 간편하게 만들기에는 좋으나, 확장성 있게 데이터 인프라를 구축하기에는 좋은 환경은 아니였습니다.
- Hevo는 데이터를 파이프라인 한번에 구성 → 수정, 변경 용이 X
- 1:1로만 테이블 매칭하여 확장성 X
- Document가 적어 정보 불확실성
- 비용 발생
확장될 데이터 인프라를 생각하면서, 대부분의 데이터들이 Batch Processing 과정을 거치면 동작 할 수 있다고 판단하였습니다. 위와 더불어 가장 선호하는 언어가 Python이며 Airflow를 사용해본 경험이 있었기에 도입하기로 결정하였습니다.
Cloud 환경을 처음 겪으면서 설정과 같은 부분을 직접해보면서 경험한 부분이 많아 부족한 부분이 많을 수 있습니다.
그럼 다음 챕터 부터 어떻게 설치했는지와 Airflow를 도입하면서 있었던 이슈에 대해서 이어나가겠습니다.
