# Seq2Seq

26개의 포스트
post-thumbnail

[NLP] Encoder∙Decoder 구조와 Seq2Seq, Seq2Seq with Attention

Encoder∙Decoder 구조를 활용해 sequence를 처리하고 sequence를 출력으로 내보내는 Seq2Seq 구조에 대해 알아보고 Seq2Seq에 Attention을 적용한 Seq2Seq with Attention에 대해 배운다.

2022년 7월 20일
·
0개의 댓글
·
post-thumbnail

seq2seq로 기계 번역 구현하기

seq2seq(sequence to sequence)로 기계 번역 구현

2022년 7월 4일
·
0개의 댓글
·
post-thumbnail

UL2, Unifying Language Learning Paradigms

현재까지의 언어모델들은 특정한 유형에 맞춰져 있다. 하지만 어떤 구조가 가장 적합한지, 어떤 세팅이 되어야 하는지 아직 정해진 것들이나 업계 전반에 합의된 것은 없다. 이 논문에서 pretraining을 위한 통합된 프레임워크를 보이고자 한다.

2022년 6월 6일
·
0개의 댓글
·
post-thumbnail

Sequence to Sequence

NLP 구조의 바탕이 되는 Encoder-Decoder 의 Sequence to Sequence란 무엇일까? 해당논문을 바탕으로 정리해보았다. Architectrue DNN은 고정된 input, output의 차원을 지정해야 해야 하기 때문에 음성이나 자연어 시계열

2022년 5월 28일
·
0개의 댓글
·
post-thumbnail

Attention Mechanism

Keywords seq2seq Attention Function (Query, Key, Value) Attention Score / Attention Weight / Attention Value Transformer MultiModal Attention Mechani

2022년 5월 17일
·
0개의 댓글
·
post-thumbnail

LSTM과 Seq2Seq

Keywords Lagging, 단층 LSTM, Deep RNN, Univariate, Multivariate, 차분, 선후관계/ Spread, Seq2Seq LSTM Lagging Issue Univariate Multivariate Univariate v

2022년 4월 9일
·
0개의 댓글
·
post-thumbnail

Seq2Seq model with attention

Seq2Seq 모델은 RNN의 유형 중 many to many를 사용하는 모델이다.attention은 RNN이 가진 문제(인코더의 끝단에 갈수록 병목 현상 및 정보 손실 문제)를 해결하기 위해 나온 idea이다. many to many model은 그림에서 볼 수 있듯

2022년 3월 14일
·
1개의 댓글
·
post-thumbnail

Sequence to Sequence Learning with Neural Networks

Sequence to Sequence Learning with Neural Networks(NIPS 2014)

2022년 3월 6일
·
4개의 댓글
·

[NLP 트렌드 공부] 신경망 기계번역 (seq2seq, Attention, Teacher Forcing) (작성중)

1. NNMT (Neural Network Machine Translation) 2. seq2seq > 입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 다양한 분야에서 사용되는 모델입니다. 예를 들어 챗봇(Chatbot)과 기계 번역(Machine Translat

2022년 2월 9일
·
0개의 댓글
·

[3주차] boostcamp 회고록 (Data viz)

피어 스터디 13. 서브워드 토크나이저(Subword Tokenizer) - 현재 통상적으로 많이 사용하고 있는 `Hugging Face`의 `WordPiece Tokenizer`(구글의 `BERT`모델)나 센텐스피스(`Sentencepiece`)(구글) 이

2022년 2월 9일
·
0개의 댓글
·
post-thumbnail

[밑바닥부터 시작하는 딥러닝2] 07. Seq2Seq

주어진 단어들에서 다음에 출현하는 단어의 확률분포 출력확률이 가장 높은 단어 선택'결정적 방법' (결과 일정)'확률적'으로 선택(sampling)결과가 매번 다를 수 있음해당 작업을 <eos>(종결기호)가 나올 때 까지 반복시계열 데이터를 또 다른 시계열 데이터로

2022년 1월 26일
·
0개의 댓글
·

[논문 리뷰] Seq2Seq Learning with Neural Networks

나의 Review Abstract 기존 DNN의 한계점 : sequence와 sequence를 매핑하는데 사용할 수 없음 이 논문에서는 문장 구조에 대한 최소한의 가정만 하는 sequence learning에 관한 end-to-end approach를 제시한다.

2022년 1월 10일
·
0개의 댓글
·

Components for Attention Mechanism (brief summary)

Encoder Attention 이전의 RNN 기반의 seq2seq 모델에서는 아무리 문장 길이가 길어도 인코더가 같은 길이의 벡터를 출력해야 했습니다. 이렇게 되면 일정 길이 이상의 긴 문장들은 정보가 손실되는 문제가 발생합니다. 또, RNN의 특성인 Vanishing Gradient가 존재합니다. 이를 해결하기 위해 매 스텝의 hidden stat...

2021년 11월 7일
·
0개의 댓글
·

어텐션 매커니즘

어텐션 매커니즘은 기계번역 분야에서 활발히 활용되는 seq2seq 모델의 단점을 개선한 기법이다. seq2seq 개념 인코더가 레이어를 거치면서 입력 시퀀스의 context vector를 추출 디코더가 context vector를 활용해 출력 시퀀스 생성 seq2seq

2021년 10월 25일
·
0개의 댓글
·
post-thumbnail

모두를 위한 딥러닝 시즌 2:: Lab-11-5 RNN seq2seq

Seq2Seq가 잘 적용되는 예 : chatbot, 번역다음과 같은 상황에서는 잘 대답할 수 있을까? 대부분의 모델은 단어가 입력됨에 동시에 다음단어를 예측해서 출력됨으로 긍정-부정으로 이어지는 문장같은 경우 예측해서 대답하기가 쉽지 않음. 이러한 경우 seq2seq모

2021년 8월 23일
·
0개의 댓글
·
post-thumbnail

RNN을 사용한 문장 생성(2)

위 주제는 밑바닥부터 시작하는 딥러닝2 4강, CS224d를 바탕으로 작성한 글 입니다.이전글에서 언어 모델을 사용하여 문장을 생성해보았다. 문장 생성을 위한 'seq2seq'를 알아보았다. 이전글 보기 (RNN을 사용한 문장 생성(1)오늘은 덧셈 데이터를 이용해서 s

2021년 8월 11일
·
0개의 댓글
·