[ML]cosine similarity VS euclidean distance (+ KL divergence)

머신러닝의 데이터의 특성은 대부분이 벡터의 형태로 표현됩니다. 이러한 벡터 간의 거리를 측정하는 방법론에 대해 고찰하여 봅시다. 가까우면 유사도가 높다, 멀면 유사도가 낮다고 판단할 수 있겠다는 점은 직관적으로 판단 가능하겠죠?

코사인유사도

• 값의 범위는 [-1,1]
• 같은 벡터라면 유사도는 1, 방향이 반대라면 유사도는 -1 (각도와 관련)

장점

• 텍스트 데이터 간 Euclidean Distance 측정을 예로 들면, 내용이 비슷해도 길이가 많이 다르면 값이 많이 커짐
• 이와 달리, 코사인 유사도를 사용한다면, 각도가 작기 때문에 유사도가 높게 나옴

정리하자면

• Euclidean distance는 수치상의 절대적인 차이를 의미. 의 경우 데이터 차원의 영향을 많이 받기 때문에, 유사도 측정에 불안정하다.
• Cosine similarity는 방향과 크기의 상대적 차이를 의미. 각도와 관련되어 최대 크기가 1로 Normalize되어 있다.

KL divergence

• p와 q의 cross entropy에서 p 엔트로피 값을 뺀 것
  $D_{KL}(p||q) = H(p,q) - H(p) = -\sum_i p_ilog\frac {q_i}{p_i}\space (이산형) = -\int p(x)log\frac{q(x)}{p(x)}dx\space (연속형)$
• 확률 분포간의 차이를 의미
• 거리 개념이 아니다. (asymmetric)
• relative entropy라고도 부름

특성

• 항상 0보다 크다
• 교환법칙이 성립하지 않음