NLP
1.Sequence to Sequence Learning with Neural Networks (NIPS 2014)
LSTM활용한 효율적인 Seq2Seq제안Seq2Seq는 기계 번역의 돌파구 역할현재는 Transformer 아키텍처 이용GPT : Transformer의 디코더BEQR: Transformer의 인코더언어모델: 시퀀스에 확률을 부여하는 모델: 특정한 상황에서의 적절한 문
2021년 10월 17일
2.Transformer(NIPS2017)
링크텍스트링크텍스트Transformer 기반으로 고성능 모델이 많아짐GPT: Decoder of TransformerBERT: Encoder of Transformer: Context vector에 문장 정보 압축 -> 병목 현상 발생하여 성능하락.: 디코터가 con
2021년 10월 24일