dataengineeringstudy

실리콘밸리에서 날아온 데이터 엔지니어링 스타터 키트 with Python 를 강의를 요약한 내용입니다.

1주차 복습 Q. 데이터분석 → 엔지니어 직무 전환을 준비. 무엇을 우선순위로 준비하면 좋을까요? SQL → Python → Airflow을 기본으로 하면서 MLops를 준비 데이터플로우 복습. Spark 등으로 DW에 데이터를 옮김. DW : 내부 데이터인력(즉 분석용)을 위한 DB임. 서비스DB가 아니기 때문에 조금...

수의사 플랫폼 예시.서비스 프로덕션DBvet : 수의사 정보hospital : 병원 정보서머리 테이블 지불 써머리진료CASE 써머리수의사 써머리...이를 루커를 통해 시각화.dbt 오픈소스를 많이 씀.ETL이 아닌 ELT방식.요게 잘 빌드 되지 않으면,

커리어 개발 워터폴 → 애자일 한번에 끝내려고 하지 말기. 계속해서 발전할 수 있도록 노력하기. 자기 검열하지 않기 그로스 마인드셋 이력서 그냥 내기 자격요건으로 10개 중에 내가 6개 정도만 맞는거 같아서 지원하지 않기. → 그러지 말고 일단 내기. 공부를 많이 한 다음에 지원하려고 함. 그런데 문제는 그 정도...

5,6,7주차 크게 Airflow의 딥한 내용과 실습 위주로 진행되었었음.