Study

가장 단순한 형태의 RNN인 Vanilla RNN(Simple RNN)의 한계를 극복하기 위한 다양한 RNN의 변형이 생겨났는데, 그 중 하나가 LSTM이다. 그럼, 바닐라 RNN은 어떤 한계가 있어서 극복하려하는걸까?첫번째는 시퀀스가 길어질 수록 앞의 정보가 뒤로 충

이전에 배운 언어 모델들을 정리해보자n-gram LM: n-1개의 단어를 고려해서 다음 단어의 확률을 예측한다. 장기적 의존성 고려XNNLM: 은닉층이 존재하고 단어 임베딩으로 문맥 정보를 학습하여 확률을 예측한다. 장기적 의존성 일부 고려ORNNLM: RNN의 은닉

워드투벡터 (Word2Vec) 원-핫 벡터는 단어집합을 기반으로 0과 1로만 이루어져 있기에 단어 벡터 간의 유사도를 계산하기 힘들다. 그래서 이를 해결하기 위해 단어 간 유사도를 반영하는(의미를 수치화하는) 방법으로 워드투벡터를 사용할 수 있다. 워드투벡터를 이용한

ML, DL, AI 아무것도 모르는 지금, 당장 해야할 건 공부뿐이라는 말에 정말 열심히 공부해보기로 했다.그래서 우선 coursera의 설립자인 Andrew Ng 선생님의 ML 강의를 듣기로 했다.처음 공부하기엔 어렵다곤 하는데 열심히 해야지..수료율 5프로 이하라곤