# attention is all you need
총 5개의 포스트
[NLP] Transformer (Attention Is All You Need)
기존 seq2seq 모델인코더-디코더 구조인코더 : 입력 시퀀스를 하나의 벡터 표현으로 압축디코더 : 이 벡터 표현으로 출력 시퀀스 생성이 과정에서 입력 시퀀스의 정보가 일부 손실 가능이를 보정하기 위해 attention 사용$d\_{model}$(512) : tran
2022년 3월 9일
·
0개의 댓글·
0
[DL Basic] Sequential Models - Transformer
시퀀셜 모델링을 어렵게 하는 문제들 Sequence는 뒤에가 잘리는 경우, 중간에 생략되는 경우, 어순이 바뀌는 경우 등이 존재 따라서 재귀적으로(recurrersive) 동작하는 RNN 계열의 경우에는, 이런 문제들을 반영해 학습하기가 어려웠음. Transform
2022년 2월 9일
·
0개의 댓글·
0
딥러닝 개념 2. Transformer
sqeunce to sequence 기반의 LSTM 모델을 대체할 수 있는 Transformer 모델의 의의와 작동 과정
2021년 11월 28일
·
0개의 댓글·
0