# Attention

82개의 포스트

[논문 리뷰] Neural Machine Translation by Jointly Learning to Align and Translate

신경망 기계 번역은 최근 제안된 기계 번역 방법이다.전통적인 통계 방식의 기계 번역과는 다르게 번역 성능을 최대화하는 것에 알맞게 단일 신경망을 학습시킨다.최근 제안된 모델은 Encoder-Decoder 구조이며 문장을 고정된 길이의 벡터로 encodeing해 deco

7일 전
·
0개의 댓글

Attention is all you need; 트랜스포머

참고: https://youtu.be/AA621UofTUA

2022년 6월 14일
·
0개의 댓글
post-thumbnail

[딥러닝] 어텐션 Attention 2

셀프어텐션과 트랜스포머, 어텐션의 다양한 확장

2022년 6월 12일
·
0개의 댓글
post-thumbnail

[딥러닝] 어텐션 Attention 1

어텐션의 기본 개념과 설명가능성에 대해

2022년 6월 11일
·
0개의 댓글
post-thumbnail

Attention Mechanism

Keywords seq2seq Attention Function (Query, Key, Value) Attention Score / Attention Weight / Attention Value Transformer MultiModal Attention Mechani

2022년 5월 17일
·
0개의 댓글

OCR에 대한 이해

OCR 프로젝트를 진행하여 처음 배운 Transformer 모델에 대한 이해를 메모한다.Optical Character Recognition : 이미지에서 글자를 인식하고 이를 자연어로 변환하는 기술Text Detection + Text Recognition 두단계로

2022년 5월 1일
·
0개의 댓글
post-thumbnail

[Aiffel] 아이펠 57일차 개념 정리 및 회고

1. 개념 정리 2. 회고

2022년 3월 29일
·
0개의 댓글

attention, scaled dot-product

Transfomer의 논문 제목 "Attention is all you need"에서 볼 수 있듯이 Transformer는 Seq2Seq with attention 모델에서 attention을 주로 사용한 모델이다.

2022년 3월 16일
·
0개의 댓글

[ Paper Review ] Attention is all you need

주저자 Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017)기록 22.02.26 ~ 22.03.08옮김 22.03.15RNN (Rec

2022년 3월 15일
·
0개의 댓글
post-thumbnail

Seq2Seq model with attention

Seq2Seq 모델은 RNN의 유형 중 many to many를 사용하는 모델이다.attention은 RNN이 가진 문제(인코더의 끝단에 갈수록 병목 현상 및 정보 손실 문제)를 해결하기 위해 나온 idea이다. many to many model은 그림에서 볼 수 있듯

2022년 3월 14일
·
1개의 댓글
post-thumbnail

[DL] Attention

Attention 모델 연산 과정

2022년 3월 13일
·
0개의 댓글
post-thumbnail

[TIL] 03.10(목)

seq2seqbottleneck problem : previous hidden state 정보 누적 및 압축 → 손실 발생 및 time step 간 거리가 멀 경우 정보 반영 ↓attention"focus on particular part on source sequen

2022년 3월 11일
·
2개의 댓글
post-thumbnail

[NLP] Attention is all you need : Transformer 논문 제대로 읽기

이 글은 Attention is all you need)논문을 읽으며 내용을 정리한 글입니다. 논문을 직접 읽고 있는 그대로 해석하는 데에 집중하고자 했으며, Transfomer에 대하여 '이해'를 우선적으로 하고 싶은 분은 Transformer 논문 샅샅이 파헤치기

2022년 3월 9일
·
0개의 댓글
post-thumbnail

Attention Is All You Need

Attention Is All You Need를 간단히 탐구합니다.

2022년 3월 9일
·
0개의 댓글

[NLP 트렌드 공부] 신경망 기계번역 (seq2seq, Attention, Teacher Forcing) (작성중)

1. NNMT (Neural Network Machine Translation) 2. seq2seq > 입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 다양한 분야에서 사용되는 모델입니다. 예를 들어 챗봇(Chatbot)과 기계 번역(Machine Translat

2022년 2월 9일
·
0개의 댓글
post-thumbnail

[DL Basic] Sequential Models - Transformer

시퀀셜 모델링을 어렵게 하는 문제들 Sequence는 뒤에가 잘리는 경우, 중간에 생략되는 경우, 어순이 바뀌는 경우 등이 존재 따라서 재귀적으로(recurrersive) 동작하는 RNN 계열의 경우에는, 이런 문제들을 반영해 학습하기가 어려웠음. Transform

2022년 2월 9일
·
0개의 댓글
post-thumbnail

EFFECTIVE APPROACHES TO ATTENTION-BASED NEURAL MACHINE TRANSLATION

Attention의 원리에 대해 알아보자. | 16기 김건우

2022년 2월 7일
·
0개의 댓글