Transformer 관련 논문
1.AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE (Vision Transformer; ViT) 논문 요약
Google Research가 2020년 10월 22일 arXiv에 제출했고, ICLR 2021 conference에서 발표하였다. CNN을 사용하지 않고 Transformer 아키텍쳐만을 사용하여 이미지 분류 작업에서 매우 좋은 성능을 보인다.
2021년 6월 30일
2.Decision Transformer: Reinforcement Learning via Sequence Modeling 논문 요약
2021년 6월 24일에 arXiv에 등록된 논문이다. 강화 학습 문제를 conditional sequence modeling으로 해석하고 Transformer 모델로 학습하는 시도를 했다. Decision Transformer architecture
2021년 7월 14일