[선형대수]L1-norm과 L2-norm, 그리고 인공지능에서

개념

norm

• 선형대수학에서 놈은 벡터의 크기(magnitude) 또는 길이(length)를 측정하는 방법

Lp-norm

L1-norm, L2-norm

• blue line이 L1-norm

  • L1 Norm은 두 개의 벡터를 빼고, 절대값을 취한 뒤, 합한 것
  • Lasso 회귀에서 사용
  • 예를 들어, x=(1,2,3), y=(-1,2,4)라면 d(x,y)=|1-(-1)|+|2-2|+|3-4|=2+0+1=3

• green line이 L2-norm

  • L2 Norm은 두 개의 벡터의 각 원소를 빼고, 제곱을 하고, 합치고, 루트를 씌운 것
  • Ridge 회귀, 라플라스 근사에서 사용
  • 예를 들어, x=(1,2,3), y=(-1,2,4)라면 d(x,y)=root(4+0+1)=root(5)

적용

L1-norm(Manhattan Distance)

import numpy as np
u = np.array([3, -4])
print(np.abs(u).sum()) #7

L2-norm(Euclidean Distance)

import numpy as np
u = np.array([3,-4])
print(np.linalg.norm(u)) #5.0

참고사이트

학습사이트

ekamperi.github.io

공식문서

numpy.linalg.norm