Query, Key, Value Weights

hur-kyuh-leez·2024년 1월 31일
0

트랜스포머

목록 보기
6/11

Observed Data

  • y, x
  • 2, 4
  • 3, 6
  • 4, 8

x = weight
x can be a vector

Trained Weight = 2

y = 2x

whenever there's a vector and y, you can use A.I. or in other words you can train Weights.

Since Query, Key, and Value Vectors are vectors, they can have weights to be trained.

profile
벨로그에 생각을 임시로 저장합니다. 틀린건 틀렸다고 해주세요 :) 그래야 논리 학습이 강화됩니다.

0개의 댓글