# Seq2Seq

nkw011

Encoder∙Decoder 구조를 활용해 sequence를 처리하고 sequence를 출력으로 내보내는 Seq2Seq 구조에 대해 알아보고 Seq2Seq에 Attention을 적용한 Seq2Seq with Attention에 대해 배운다.

choonsik_mom

seq2seq(sequence to sequence)로 기계 번역 구현

nawnoes

현재까지의 언어모델들은 특정한 유형에 맞춰져 있다. 하지만 어떤 구조가 가장 적합한지, 어떤 세팅이 되어야 하는지 아직 정해진 것들이나 업계 전반에 합의된 것은 없다. 이 논문에서 pretraining을 위한 통합된 프레임워크를 보이고자 한다.

bailando

NLP 구조의 바탕이 되는 Encoder-Decoder 의 Sequence to Sequence란 무엇일까? 해당논문을 바탕으로 정리해보았다. Architectrue DNN은 고정된 input, output의 차원을 지정해야 해야 하기 때문에 음성이나 자연어 시계열

rjtp5670

Keywords seq2seq Attention Function (Query, Key, Value) Attention Score / Attention Weight / Attention Value Transformer MultiModal Attention Mechani

emseoyk

seq2seq 논문 리뷰

rjtp5670

Keywords Lagging, 단층 LSTM, Deep RNN, Univariate, Multivariate, 차분, 선후관계/ Spread, Seq2Seq LSTM Lagging Issue Univariate Multivariate Univariate v

gongsam

1. 개념 정리 2. 회고

woojjn

Seq2Seq 모델은 RNN의 유형 중 many to many를 사용하는 모델이다.attention은 RNN이 가진 문제(인코더의 끝단에 갈수록 병목 현상 및 정보 손실 문제)를 해결하기 위해 나온 idea이다. many to many model은 그림에서 볼 수 있듯

ny_

Sequence to Sequence Learning with Neural Networks(NIPS 2014)

gromit_dev

1. NNMT (Neural Network Machine Translation) 2. seq2seq > 입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 다양한 분야에서 사용되는 모델입니다. 예를 들어 챗봇(Chatbot)과 기계 번역(Machine Translat

gromit_dev

피어 스터디 13. 서브워드 토크나이저(Subword Tokenizer) - 현재 통상적으로 많이 사용하고 있는 `Hugging Face`의 `WordPiece Tokenizer`(구글의 `BERT`모델)나 센텐스피스(`Sentencepiece`)(구글) 이

gongsam

1. 머신러닝, 딥러닝 개념 정리 2. 회고

rnjsdb72

주어진 단어들에서 다음에 출현하는 단어의 확률분포 출력확률이 가장 높은 단어 선택'결정적 방법' (결과 일정)'확률적'으로 선택(sampling)결과가 매번 다를 수 있음해당 작업을 <eos>(종결기호)가 나올 때 까지 반복시계열 데이터를 또 다른 시계열 데이터로

jeewoo1025

나의 Review Abstract 기존 DNN의 한계점 : sequence와 sequence를 매핑하는데 사용할 수 없음 이 논문에서는 문장 구조에 대한 최소한의 가정만 하는 sequence learning에 관한 end-to-end approach를 제시한다.

mochafreddo

Encoder Attention 이전의 RNN 기반의 seq2seq 모델에서는 아무리 문장 길이가 길어도 인코더가 같은 길이의 벡터를 출력해야 했습니다. 이렇게 되면 일정 길이 이상의 긴 문장들은 정보가 손실되는 문제가 발생합니다. 또, RNN의 특성인 Vanishing Gradient가 존재합니다. 이를 해결하기 위해 매 스텝의 hidden stat...

rinrin528

어텐션 매커니즘은 기계번역 분야에서 활발히 활용되는 seq2seq 모델의 단점을 개선한 기법이다. seq2seq 개념 인코더가 레이어를 거치면서 입력 시퀀스의 context vector를 추출 디코더가 context vector를 활용해 출력 시퀀스 생성 seq2seq

uonmf97

Seq2Seq가 잘 적용되는 예 : chatbot, 번역다음과 같은 상황에서는 잘 대답할 수 있을까? 대부분의 모델은 단어가 입력됨에 동시에 다음단어를 예측해서 출력됨으로 긍정-부정으로 이어지는 문장같은 경우 예측해서 대답하기가 쉽지 않음. 이러한 경우 seq2seq모

a01152a

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전글에서 언어 모델을 사용하여 문장을 생성해보았다. 문장 생성을 위한 'seq2seq'를 알아보았다. 이전글 보기 (RNN을 사용한 문장 생성(1)오늘은 덧셈 데이터를 이용해서 s