[스터디] 실리콘밸리에서 날아온 데이터 엔지니어링 스타터 키트 with Python (6기) - 3주차

• 수의사 플랫폼 예시.

  • 서비스 프로덕션DB
    • vet : 수의사 정보
    • hospital : 병원 정보
  • 서머리 테이블
    • 지불 써머리
    • 진료CASE 써머리
    • 수의사 써머리
    • ...
    • 이를 루커를 통해 시각화.
    • dbt 오픈소스를 많이 씀.
      • ETL이 아닌 ELT방식.
    • 요게 잘 빌드 되지 않으면, 이러한 써머리 테이블들이 무한정으로 늘어나게 됨. 그렇게 되면 관리도 어려워지고 사일로가 발생.
  • SQL 퀴즈
    • NULL : 값이 없음.
    • COUNT(1) → 7개의 레코드에 대해서 무조건 1을 카운트 해줌. 레코드에 무엇이 들어있는지 중요하지 않음.
    • COUNT(value) -> NULL을 뺀 나머지 레코드를 계산.
    • COUNT(DISTINCT value) -> 고유한 값만 계산.

• 하둡

  • 맵리듀스를 지금 현업에서 쓰고있다? 그것은 레거시.
  • 지금은 모두 스파크를 쓰고 있음.
  • SQL은 정형화된 데이터가 좋지만, 비정형화된 데이터에는 만능이 아님.
  • pandas나 처리하는 양에 따라 spark로 승격해서 사용.

• 실습.

  • 데이터를 항상 의심하라.

• 데이터 테이블들을 모두 관리하는 것은 어렵다. 그래서 중요 테이블들을 잘 관리하는 것이 중요.

  • 데이터 디스커버리

• 나름의 팀 내부의 포맷팅이 필요함.

  • 이런 규약이 없으면, 누구는 단수형 누구는 복수형으로 쓰게 되어서 헷갈리고 복잡해짐.
  • 정리해두면 시간을 조금 절약할 수 있음.

• Star schema <-> denormalized schema

  • 스타 스키마.

과제 진행

• 과제를 진행하면서 틀렸던 부분이 있었는데, 해당 부분을 꼼꼼히 체크해주시면서 접근하는 방법을 공유해주심.
• 막히는 부분이 있으면 언제든 질문을 하도록 유도하시며 질문에 부담을 갖지않도록 편하게 이야기를 주심.