[U] Week 2 Day 1

1. 강의 복습 내용

• 목표 :
  - PyTorch 강의 3개 듣기
  - 퀴즈 풀기
• 결과 :
  - PyTorch 강의 3개 듣기 완료 (o)
  - 퀴즈 풀기 완료 (o)

(1) Introduction to PyTorch

(2) PyTorch Basics

(3) PyTorch 프로젝트 구조 이해하기

2. 공부를 하며 고민한 내용, 고민 결과

• 아래의 Differentiation in Autograd 코드 상에서 external_grad가 의미하는 건 뭘까?

• Autograd의 Jacobian matrix에 관하여
  - 참고 : https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#optional-reading-vector-calculus-using-autograd
  • $\vec{y} = f(\vec{x})$에서 $\vec{x}$에 대한 $\vec{y}$의 gradient는 Jacobian matrix J로 표현할 수 있음
  • $y$에 대해 $x_1$ ~ $x_n$으로 미분한 가운데 식을 펼치면, 각 행은 $y_m$을 $x_1$ ~ $x_n$으로 각각 미분한 값을 의미
    
  • torch.autograd : 어떤 벡터 $\vec{v}$가 주어졌을 때 $J^T·\vec{v}$을 계산 (vector-Jacobian product)
  • chain-rule에 의해 vector-Jacobian product는 $\vec{x}$에 대한 $l$의 gradient를 의미

3. 피어 세션

• 데일리스크럼 때, 각자의 하루 학습 목표 설정
• 부스트캠프 강의 외에, 멘토님이 보내주신 자료들 중 2개를 정해 팀원들과 함께 추가로 스터디하기로 결정
  1. Ian Goodfellow and Yoshua Bengio and Aaron Courville의 The Deep Learning textbook
  - https://www.deeplearningbook.org/
  2. Stanford NLP 강의 cs224n
  - Youtube 강의 : https://www.youtube.com/playlist?list=PLoROMvodv4rOSH4v6133s9LFPRHjEmbmJ
  - 강의 계획 공식 사이트 (+ assignment) : https://web.stanford.edu/class/cs224n/index.html#schedule
• PyTorch Basics 강의에서 Autograd의 Jacobian matrix에 관한 내용 토론

4. 회고

• 오늘의 모더레이터 : 나
• 2주차를 시작하며 저번주보다 더 알찬 한 주를 보내기로 결심했고, 오늘은 목표한 바를 지킨 것 같아 뿌듯했음
• 팀원들과 추가로 학습할 공부도 정해 피어 세션 때 토론할 내용이 더 풍성해질 것 같다는 기대감