한 달전 공부하다 지인의 요청으로 잠시 다른 모델을 제작하느라 늦었습니다.
전 논문은 GPT-2를 기반으로 NPL을 학습시킨 것이기 때문에 좀 더 본질 적인 논문을 가져왔으며,
NPL보다 전에 학습하던 CNN을 기반으로한 가장 기본적인 논문을 가져와 봤습니다.
CNN논문
해당 논문은 2016년에 기재 되었으며,
- Factorization : 3x1 conv + 1x3 conv > 3x3 conv
- Grid Size Reduction : 2 stride를 적용
- Label Smoothing
를 중점적으로 다루어져 있습니다.
현재 논문 선택하고 바로 글을 작성한 것이기 때문에 해석 후 추가하겠습니다.
Dreamer