Transformer

해소리·2022년 7월 24일
0

GPT

목록 보기
2/2

Transformer란?

입력 방법이 병렬처리가 되어 있다 => 성능을 높일 수 있다.

성능 향상하는 방법

  1. skip connection
  2. layer nomalization

특징

  1. 기계번역 task에서 기존의 연구들보다 성능적으로 우수
  2. 병렬적으로 처리가 가능한 모델 -> time complexity 감소
  3. 이후에 사용되는 bert, gpt 모델에서 일반화에 강점이 있다는 것이 확인

positional encoding

profile
문과생 데이터사이언티스트되기 프로젝트

0개의 댓글