profile
Interested in Data Engineering

DBT란?

DBT는 SQL만으로 데이터 파이프라인을 구성할 수 있게 해주는 툴새로운 테이블을 만들기 위해서는 80%의 SQL과 20%의 코딩이 들어간다. DA와 DE가 같이 커뮤니케이션을 하여 DA는 쿼리를 짜고 DE는 이를 스크립트화하여 airflow로 관리한다. DBT는 DA

2022년 3월 20일
·
0개의 댓글
·

DBT란?

DBT는 SQL만으로 데이터 파이프라인을 구성할 수 있게 해주는 툴새로운 테이블을 만들기 위해서는 80%의 SQL과 20%의 코딩이 들어간다. DA와 DE가 같이 커뮤니케이션을 하여 DA는 쿼리를 짜고 DE는 이를 스크립트화하여 airflow로 관리한다. DBT는 DA

2022년 3월 20일
·
0개의 댓글
·
post-thumbnail

The Log: What every software engineer should know about real-time data's unifying abstraction 요약

https://engineering.linkedin.com/distributed-systems/log-what-every-software-engineer-should-know-about-real-time-datas-unifying 내용 정리append only

2022년 3월 2일
·
0개의 댓글
·
post-thumbnail

DW 모델링 관련 용어 정리

Fact Table의 Grain 레벨을 의미Fact Table의 최소 단위가 월 단위로 표현되는지, 일 단위로 표현되는지를 의미Granuality가 높으면 성능상의 이점은 있지만 상세 데이터를 조회할 수 없는 단점이 있다.Major Table이라고도 한다.Busines

2022년 2월 26일
·
0개의 댓글
·