[스터디] 실리콘밸리에서 날아온 데이터 엔지니어링 스타터 키트 with Python (6기) - 4주차

2innnnn0·2022년 1월 8일
0

dataengineeringstudy

목록 보기
4/5
post-thumbnail

커리어 개발

  • 워터폴 → 애자일
    • 한번에 끝내려고 하지 말기.
    • 계속해서 발전할 수 있도록 노력하기.
  • 자기 검열하지 않기
    • 그로스 마인드셋
    • 이력서 그냥 내기
      • 자격요건으로 10개 중에 내가 6개 정도만 맞는거 같아서 지원하지 않기. → 그러지 말고 일단 내기. 공부를 많이 한 다음에 지원하려고 함. 그런데 문제는 그 정도에 대한 것이 없음
      • 면접과 공부를 병행하기. 내가 지금 잘하고 있는지를 스스로 계속 채찍질 할 수 있음. 오히려 면접을 보면서 적정 수준의 공부를 잘할 수 있음.
  • One way door(일방통행) vs. two way door(양방향)
    • 잘되건 안되건 나가면 끝. vs. 나갔다가 정 아니면 다시 돌아올 수 있음.
    • 많은 경우가 양방향임.

Airflow (중요)

  • start_date와 Execution_date 차이
    • DAG가 읽어오는 시간.

과제

  • Airflow 2.1.4 사용
  • 헤더가 레코드로 추가되는 문제
  • 멱등성.
  • 트랙젝션 (옵셔널)

과제 피드백

  • 과제에 대해 빠르게 피드백 해주시고, 칭찬을 아끼지 않으심.

  • 트랜잭션에 대한 이해도가 부족하였는데, 코드에 주석과 함께 가이드를 같이 제공해주셔서 이해가 수월하게 되었음.

profile
성장하고 싶은 데이터분석가.

0개의 댓글