Transformer 구현
1.어텐션 매커니즘
어텐션 매커니즘은 기계번역 분야에서 활발히 활용되는 seq2seq 모델의 단점을 개선한 기법이다. seq2seq 개념 인코더가 레이어를 거치면서 입력 시퀀스의 context vector를 추출 디코더가 context vector를 활용해 출력 시퀀스 생성 seq2seq
2021년 10월 25일
어텐션 매커니즘은 기계번역 분야에서 활발히 활용되는 seq2seq 모델의 단점을 개선한 기법이다. seq2seq 개념 인코더가 레이어를 거치면서 입력 시퀀스의 context vector를 추출 디코더가 context vector를 활용해 출력 시퀀스 생성 seq2seq