요즘 하는 작업들은 "데이터 엔지니어링이 아니야"
-> 그럼 뭘 하고 있는데?
-> 업무 자동화같은 것들만 하고 있어
-> 어쩌면 그게 우리가 코드를 짜는 이유아닐까?
넵 이런 고민? 생각들을 하고 있습니다.
backend 분들이 만들어두고 사용하시는 데이터베이스를 데이터레이크로 생각하고
데이터팀을 위한 데이터 웨어하우스라고 할 수 있는 DB를 만드는 작업을 진행하고 있습니다
- 네이버 클라우드
- Ubuntu
- mysql
- airflow를 통한 신DB 데이터 ETL
- 구DB에 이전되지 않은 괜찮은 데이터들을 이전해야겠습니다.