딥 러닝을 위한 자연어처리 입문

출처https://wikidocs.net/21698데이터가 전처리되지 않은 상태라면, 해당 데이터를 사용하고자 하는 용도에 맞게 토큰화, 정제, 정규화를 해야 한다. 토큰의 단위는 상황에 따라 다르지만, 보통 의미있는 단위로 토큰을 정의한다.NLTK는 영어 코

확성화 함수로 주로 하이퍼볼릭 탄젠트 사용:RNN 내에서 vanishing gradient 문제를 예방(gradient가 최대한 오래 유지되도록)tanh의 미분 최댓값이 큼그라디언트 폭주 문제: 그라디언트 클리핑 사용그라디언트 소실 문제: LSTMLSTM바닐라 RNNL