[Final Project] TIL (2) : Seq 2 Seq Model

1. Sequence to Sequence

• RNN 모델에서 Many to Many (다 대 다 모델)에 해당합니다.
• 입력도 출력도 모두 Sequence 형태로 이루어져 있음을 의미합니다.
• 자연어 처리에서 입력은 word 단위의 문장이고, 출력도 마찬가지입니다.

Seq 2 Seq 모델은 다음과 같은 구조로 이루어져 있습니다.

🎧 입력을 받는 'Encoder'

🔉 출력을 반환하는 'Decoder'

이렇게 두 가지로 이루어져 있으며, 두 모델 모두 RNN으로 이루어져 있는 경우도 있습니다.

⌨️ Seq2Seq의 입력층

• 인코더의 마지막 단어까지 읽어들인 후, 인코더의 마지막 타임스텝인 '히든 레이어'에 있는 벡터를 디코더의 첫번째 입력값으로 줍니다.

🙅🏻 Seq2Seq의 단점

✔︎ long-term dependency를 해결한다고 해도,초반에 나타난 정보를 잘 기억하지 못한다는 단점이 있습니다.

✔︎ 인코더를 지나면서 주어부터 소실되어 버리면, 디코더는 입력값조차 제대로 전달받지 못하게 됩니다.

-> 문장을 뒤집어서 접근하면, 초반 단어들을 제대로 인식할 수 있습니다. 이에 해당하는 기법은 디코더의 입력층에서 적용시킬 수 있습니다.