장기 문맥 의존성

• 위 문장에서 첫번째 '길동은'과 32번째 '쉬기로'는 아주 밀접한 관련이 있음
• 관련된 요소가 멀리 덜어진 상황

문제점

• 경사 소멸(W요소가 1보다 작을 때)

• 경사 폭발(W요소가 1보다 클때)

• RNN은 DMLP,CNN보다 심각하게 발생
  - 긴 입력 샘플이 자주 발생하기 때문
  - 가중치 공유 때문에 같은 값을 계속 곱함

• LSTM은 가장 널리 사용되는 해결책