데이터 엔지니어
1.[짧] airflow.cfg DB 설정
airflow 간단 설정
2022년 3월 25일
2.[짧] Airflow의 구성 요소
Airflow 구성 요소에 대한 짧은 글
2022년 3월 26일
3.쿼리엔진 마이그레이션 후 데이터 정합성 비교하는 법
기존 우리 데이터 파이프라인은 Spark SQL을 통해 배치 작업을 수행하였다. 2023 연초 기존 자체 배포판 Hadoop에서 Cloudera의 배포판으로 넘어가면서 배치 작업들을 Impala로 전환하였다. Impala와 Spark 모두 Hadoop 환경에서 쓸 수
2023년 7월 24일