⤨ PCA ② 벡터의 기하학: 벡터공간과 기저벡터

Lightman·2021년 8월 1일
3

MACHINE LEARNING 🦾

목록 보기
2/9

벡터공간VectorSpace

[정의] 벡터공간이란 선형독립N개의 벡터선형조합으로 만들어 내는Span 공간을 의미한다.

V={c1x1+...+cNxNc1,...,cNR}V = \{ c_1x_1 + ... + c_Nx_N | c_1, ... , c_N ∈ R \}
  • 이때, 선형독립인 N개의 벡터 x1,...,xN{ x_1, ... ,x_N}기저벡터basis라고 하고,
  • 기저벡터basis의 개수 N을 차원dimension이라고 한다.

벡터공간의 정리: N차원 공간의 형성

[정리] N개의 N차원 벡터 x1,...,xN{ x_1, ... ,x_N}가 선형독립일 때, 다음 두 정리를 만족한다.

  • 해당 벡터를 선형조합하여 모든 N차원 벡터를 만들 수 있다.
  • 해당 벡터에 모두 수직영벡터가 아닌 벡터x는 존재하지 않는다.

벡터공간의 투영

[정의] N차원 기저벡터 M개 v1,...,vM{ v_1, ... ,v_M}가 있을 때, 이 기저벡터의 선형조합으로 나타나는 xVx^{||V}에 대해, (xxV){v1,v2,...,vM}(x - x^{||V}) ⊥ \{v1, v2, ... ,vM\} 가 성립하면 xVx^{||V}투영벡터, xVx^{⊥V}직교벡터가 된다.


그러나 일반적인 경우 xVx^{||V}을 구하는 일은 쉽지 않고, 기저벡터가 정규직교orthonormal인 경우는 쉽게 표현할 수 있으며 유용하다.

[정리]
N차원 기저벡터 M개 v1,...,vM{ v_1, ... ,v_M}정규직교orthonormal할 때, let xV=(xvi)vilet~x^{||V} = \sum(x\cdot v_i)v_i이면 xVx^{||V}투영벡터, xV=xxVx^{⊥V} = x - x^{||V}직교벡터가 된다. 또한 피타고라스 정리에 의해 xV2=(xvi)2{||x^{||V}||}^2 = \sum(x\cdot v_i)^2이 된다.

  • [lemma] 직교벡터xVx^{⊥V}기저벡터v1,...,vM{ v_1, ... ,v_M}로 이루어진 벡터공간모든 벡터에 대해 직교한다.
  • [lemma] 벡터x의 투영벡터xVx^{||V}기저벡터v1,...,vM{ v_1, ... ,v_M}로 이루어진 벡터공간모든 벡터 중에서 가장 벡터 x와 거리xV{||x^{||V}||}가까운 벡터이다.
profile
현직 데이터 분석가 / 데이터 과학의 정도를 따라 🚲 / About DEV DA ML

0개의 댓글