# attention is all you need

5개의 포스트
post-thumbnail

[NLP Basic] Transformer 리뷰

~진정한 물아일체~ Attention is all you need

2022년 5월 31일
·
0개의 댓글
·

[NLP] Transformer (Attention Is All You Need)

기존 seq2seq 모델인코더-디코더 구조인코더 : 입력 시퀀스를 하나의 벡터 표현으로 압축디코더 : 이 벡터 표현으로 출력 시퀀스 생성이 과정에서 입력 시퀀스의 정보가 일부 손실 가능이를 보정하기 위해 attention 사용$d\_{model}$(512) : tran

2022년 3월 9일
·
0개의 댓글
·
post-thumbnail

[DL Basic] Sequential Models - Transformer

시퀀셜 모델링을 어렵게 하는 문제들 Sequence는 뒤에가 잘리는 경우, 중간에 생략되는 경우, 어순이 바뀌는 경우 등이 존재 따라서 재귀적으로(recurrersive) 동작하는 RNN 계열의 경우에는, 이런 문제들을 반영해 학습하기가 어려웠음. Transform

2022년 2월 9일
·
0개의 댓글
·
post-thumbnail

트랜스포머로 시작하는 자연어처리

자연어 처리! Transformer 에서 시작하자!

2021년 12월 8일
·
0개의 댓글
·
post-thumbnail

딥러닝 개념 2. Transformer

sqeunce to sequence 기반의 LSTM 모델을 대체할 수 있는 Transformer 모델의 의의와 작동 과정

2021년 11월 28일
·
0개의 댓글
·