- 트랜스포머, 파인튜닝, 전이 학습 = 다시 '답'을 어떠한 형태로 넣을 것인가
- vanishing graident을 해결하기 위해서 다시 '답'을 넣는 것 임
- hidden states = context = 문맥 = 큰그림
- self-attention block에서 train 되는 것은 Query, Key, Value Weights임 이들 없이는 neuro network이라 할 수 없음. 당연하게도 update 하려면 답이 있어야 loss찾아 업데이트를 할 수 있음. 하지만 인코딩 과정에서 답이란 무엇인가?
벨로그에 생각을 임시로 저장합니다. 틀린건 틀렸다고 해주세요 :) 그래야 논리 학습이 강화됩니다.