설정을 하기에 앞서 Snowflake의 Integration에 대해 알아보자. 일반적으로 Snowflake에서 데이터를 가져오거나 클라우드 서비스(예: S3)와 통합하기 위해 인증 정보를 사용해야 할 때, 해당 클라우드 공급자의 비밀 키 또는 액세스 토큰과 같은 자격

dbt를 사용하기 위해서는 아래와 같은 절차를 따라야 한다.dbt 설치dbt 환경설정connector(데이터베이스) 설정 데이터 모델링테스트 코드 작성필요시 snapshot 설정 여기서 1, 2, 3번 절차를 알아보자.dbt는 dbt core, dbt cloud 와 같

dbt(Data Build Tool)는 SQL로 작성된 데이터 변환 코드를 관리하고 실행하는 오픈 소스 툴이다. ELT(Extract, Load, Transform) 데이터 파이프라인의 'Transform' 단계를 담당한다.dbt는 기본적으로 SQL을 사용하므로 데이터

위와 같이 Airflow DAG 실행 중 Task가 실패했을 때 지정한 Slack 워크스페이스의 채널에 에러 정보를 올려주는 기능을 알아보자.https://api.slack.com/ 로 접속하여 알림을 받을 앱을 생성한다. 이 앱은 특정 채널에 메시지를 보낼

명령어를 입력하는 위치에 있는 Dockerfile 을 기반으로 image를 빌드한다. -t 옵션으로 뒤에 입력하는 이름으로 image 이름을 지정한다. --platform=linux/amd64 는 OS 호환을 위해 입력한다.Docker hub사용을 위해서는 먼저 log

Docker란? Docker는 컨테이너화된 애플리케이션을 만들고 신속하게 구축, 테스트 및 배포할 수 있는 오픈 소스 플랫폼이다. 컨테이너는 애플리케이션과 해당 애플리케이션을 실행하는 데 필요한 모든 종속성을 모두 가지고 있는 독립적인 환경이다. Docker를 사

Airflow에서 Backfill 은 이전에 실행되지 않은 작업을 재실행하는 프로세스이다. 만약 DAG가 매일 자정에 실행되도록 스케줄되어있고, 특정 기간 동안 실행되지 않았을 경우, Backfill 을 사용하여 그 기간동안 누락된 작업을 재실행할 수 있다.시작 날짜

Airflow는 PythonOperator로 여러 Python 라이브러리들을 사용하여 모든 Task를 구현할 수 있지만, 특정 작업을 수행하는 구체적인 목적을 위한 다양한 Operator들을 제공한다. 이러한 Operator들을 이용해 AWS, Postgres, GC

Airflow를 설치하는 방법은 다양한데, 그 중 간단하게 로컬에서 Airflow를 실행하기에는 Docker를 이용하는 것이 적절하다고 한다. 아래 공식문서를 통해서 Docker로 Airflow를 설치했는데 설정파일인 docker-compose.yaml 파일 내용이 이해가 잘 안가서 정리해보았다. > Docker 기반 Airflow 설치 공식문서 https...

Spotify의 chart 데이터 csv 파일 다운로드하기

DAG 작성 DAG는 크게 DAG인스턴스를 생성하는 부분, Operator(task)를 생성하는 부분, task간 의존성을 설정하는 부분으로 나뉜다. DAG 인스턴스 생성 DAG 클래스의 인스턴스를 생성해준다. Operator들은 이렇게 생성한 dag 인스턴스를 참조

데이터 엔지니어링 직무를 알아보면서 가장 많이 접했던 용어는 '데이터 파이프라인'이었다. 그리고 이 데이터 파이프라인을 설계 하는데 가장 큰 파이를 차지하고 있는 Airflow를 심도있게 학습해야겠다고 생각했다.Apache Airflow 기반의 데이터 파이프라인 (원제

오늘의 학습 : Snowflake

오늘의 학습 : AWS Redshift - 권한과 보안, 백업과 데이터 복구, Redshift Spectrum, Redshift ML

📖 오늘의 학습 : AWS Redshift

오늘의 학습 - Seaborn, wordcloud

오늘의 학습 : Selenium, 특강-좋은코드 작성법

오늘의 학습 : BeautifulSoup