📊 attention 매커니즘

📌 attention이란?

• 정의
  - 어텐션은 디코더에서 출력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장을 다시 한 번 참고한다. 단, 전체 입력 문장을 전부 다 동일한 비율로 참고하는 것이 아니라, 해당 시점에서 예측해야할 단어와 연관이 있는 입력 단어 부분을 좀 더 집중(attention)해서 보게 된다.
  
  
  
• Attention 알고리즘 종류
  - 룸 어텐션 매커니즘
  - 바다나우 어텐션 매커니즘