LSTM

Long short term memory

LSTM은 3개의 게이트로 구성되어 있으며 셀 상태를 통해 데이터를 보존할지 삭제할지 결정한다.

• forget gate: 입력 값 가중합 결과(sigmoid)를 cell state의 값과 곱한다.
• input gate: 입력 값 가중합 결과(sigmoid)와 가중합 결과(tanh)를 곱한 값을 cell state와 더한다.
• output gate: 입력 값 가중합 결과(sgmoid)와 cell state(tanh)값을 곱해서 퍼셉트론의 결과 값을 도출한다.

LSTM도 기본적으로 순환 신경망이기 때문에 RNN과 같이 여러개의 층을 LSTM으로 구성할 경우, 모든 hidden state값을 다음 층으로 전달하기 위해서 return_sequences=True를 따로 설정해야 한다.