Embedding이 중요한 이유

cateto·2021년 11월 17일
0
post-thumbnail

Embedding이 중요한 이유

  1. 임베딩에는 Corpus의 의미, 문법 정보가 함축되어있다.
  2. 임베딩은 Vector이므로 연산이 가능하며, 단어/문장/문서 간의 유사도를 측정할 수 있다.
  3. 전이학습(Transfer Learning)을 통해 Fine-tuning하여 과제에 맞게 업데이트. 효과적인 이유가 제로베이스에서 시작하는 것이 아니라 이미 훈련되어진 임베딩 위에 구현하기 때문

    품질 좋은 임베딩은 잘 담근 김치와 같습니다. 김치 맛이 좋으면 물만 부어 끓인 김치찌개 맛도 좋습니다. 임베딩 품질이 좋으면 단순한 모델로도 원하는 성능을 낼 수 있습니다. 모델 구조가 동일하다면 그 성능은 높고 수렴(converge)은 빠릅니다. 자연어 처리 모델을 만들고 서비스할 때 중요한 구성 요소 하나만 꼽으라고 한다면, 저는 주저하지 않고 ‘임베딩’을 꼽을 것입니다.

출처 : https://ratsgo.github.io/blog/

profile
Curious for Everything

0개의 댓글