# DBT
0. airflowdbt-day1-0-강의소개
airflow를 API로 조작대그 디펜던시태스크 그룹핑데이터 파이프라인 운영이란dbt 소개, redshift 기반 eltdbt를 대그로 구현데이터 카탈로그, 디스커버리파이썬, SQL, 에어플로우, 도커는 기본.
dbt 설치
dbt를 사용하기 위해서는 아래와 같은 절차를 따라야 한다.dbt 설치dbt 환경설정connector(데이터베이스) 설정 데이터 모델링테스트 코드 작성필요시 snapshot 설정 여기서 1, 2, 3번 절차를 알아보자.dbt는 dbt core, dbt cloud 와 같
dbt (data build tool)
dbt(Data Build Tool)는 SQL로 작성된 데이터 변환 코드를 관리하고 실행하는 오픈 소스 툴이다. ELT(Extract, Load, Transform) 데이터 파이프라인의 'Transform' 단계를 담당한다.dbt는 기본적으로 SQL을 사용하므로 데이터
Airflow dag execution_date의 dbt 적용
기존 배치 작업들이 전부 current_date()로 dbt 모델을 실행하는 것을 발견했다. 이렇게 하면 airflow의 가장 편리한 기능인 backfill과 clear 기능을 사용해도 모든 모델이 현재 날짜를 기준으로 실행되버리기 때문에 이 부분을 개선 하려고 했고
Airflow with DBT 인프라 구성일지.
DBT 는 데이터 가공 도구로 ETL에서 Transform에 더 초점을 맞춘 ELT 도구이다. DBT를 사용하는 방법으론 DBT Cloud, DBT CLI 2가지 방법이 있는데 DBT Cloud를 사용하기 위해서는 과금이 필요하다. DBT를 사용하는 사용자가 많아질 수
DBT ( Data build tool )
dbt는 데이터 분석가( DA )가 select 문을 작성함으로써 데이터 웨어하우스에서 데이터를 변환할 수 있도록 지원합니다. dbt 에서는 이러한 select 문을 table, view 로 변환해서 만들어주는 역할을 합니다. Source data warehouse 에