# attention is all you need

sujin_yun_

~진정한 물아일체~ Attention is all you need

s6820w

기존 seq2seq 모델인코더-디코더 구조인코더 : 입력 시퀀스를 하나의 벡터 표현으로 압축디코더 : 이 벡터 표현으로 출력 시퀀스 생성이 과정에서 입력 시퀀스의 정보가 일부 손실 가능이를 보정하기 위해 attention 사용$d\_{model}$(512) : tran

gromit_dev

시퀀셜 모델링을 어렵게 하는 문제들 Sequence는 뒤에가 잘리는 경우, 중간에 생략되는 경우, 어순이 바뀌는 경우 등이 존재 따라서 재귀적으로(recurrersive) 동작하는 RNN 계열의 경우에는, 이런 문제들을 반영해 학습하기가 어려웠음. Transform

shangrilar

자연어 처리! Transformer 에서 시작하자!

ohado

sqeunce to sequence 기반의 LSTM 모델을 대체할 수 있는 Transformer 모델의 의의와 작동 과정