Training

[NLP] 자연어처리 임베딩 모델 총정리 (word2vec부터 BERT까지) 한글말뭉치정리 Attention과 Transformer LSTM, GRU의 한계와 Attention의 등장 ############## 포지셔널 인코딩 레이어 한번에 들어온 단어들의 위치

Bidirectional Encoder Representations from Transformers : 트랜스포머의 양방향 인코더. 문맥을 양방향으로 이해해서 숫자의 형태로 바꿔준다. 트랜스포머는 2017년에서 인코더-디코더 구조를 가진 것. 기꼐번역에서 우수한 성적.