Cauchy-Schwarz Inequality

$|\mathbf{<x,y>}|\le\lVert\mathbf{x}\rVert\lVert\mathbf{y}\rVert$

since $\lVert\mathbf{x}\rVert,\lVert\mathbf{y}\rVert\ge0,(\because Definition\ of \ Norm)$
$\frac{\mathbf{|<x,y>|}}{\mathbf{\lVert x\rVert\lVert y\rVert}}\le1$
$\therefore -1\le\frac{\mathbf{<x,y>}}{\mathbf{\lVert x\rVert\lVert y\rVert}}\le1$

이 식에서 angle의 논의가 시작 된다.

안의 식을 $cos\omega$라고 정의한다.
$\omega$의 범위는 unique 솔루션을 얻기 윟아ㅕ $\pi$까지로 줄인다. ($\omega\in[0,\pi])$

그리고 앞으로 angle이라고 하면 아래와 같이 정의된다.

• $\omega$는 벡터 x와 y사이의 각도

Orthogonality

Definition

• Two vectors are orthogonal iff $<\mathbf{x,y}>=0$

• 0 vector는 벡터 스페이스 상의 모든 벡터에 대하여 orthogonal하다.

• $\mathbf{x\bot y}$

Orthonomal

• Orthogonal & Unit Vector 일 경우 성립한다.

Orthogonality with Various Inner Products

• orthogonality는 inner prouct의 타입에 의존한다.

• example

$\mathbf{<x,y>=0}$

$\mathbf{x=[1,1]^T}$
$\mathbf{y=[-1,1]^T}$
$\mathbf{<x,y>=x^Ty\rightarrow x\cdot y=0}\ \ \therefore \ Orthogonal$

What if... A(General Inner Product)에 변화를 준다면
$A=\begin{bmatrix}2&0\\0&1\end{bmatrix}$

$\mathbf{<x,y>=x^T\begin{bmatrix}2 & 0\\ 0 & 1\end{bmatrix}y\rightarrow\begin{bmatrix}1 & 1\end{bmatrix}\begin{bmatrix}2&0\\0&1\end{bmatrix}\begin{bmatrix}-1\\1\end{bmatrix}=\begin{bmatrix}2 & 1\end{bmatrix}\begin{bmatrix}-1\\1\end{bmatrix}=-1\neq0} \therefore Non\ Orthogonal$

Orthogonal Matrix

Definition

• Square matrix이며,
• $\mathbf{AA^T=I=A^TA}$

Implication 함축/암시

• $\mathbf{A^T=A^{-1}}$

Point

• orthonormal column vector로 구성된 matrix이다.

Transformation by Orthogonal Matrix

• Orthogonal matrix의 변환은 length와 벡터 간의 angle을 그대로 유지한다는 특성이 있다.

-length(길이가 유지된다.)
$\lVert\mathbf{Ax}\rVert^2=\mathbf{(Ax)^T(Ax)=x^TA^TAx=X^TX=\lVert x\rVert}^2$

-angle(각도가 유지된다.)
$cos\omega$=$\frac{\mathbf{(Ax)^T(Ax)}}{\mathbf{\lVert Ax\rVert\lVert Ay\rVert}}$=$\frac{\mathbf{x^Ty}}{\mathbf{\lVert x\rVert\lVert y\rVert}}$

Orthonomal Basis

Definition

basis B에 관하여, 아래 조건을 만족하는 basis를 의미한다.
$\mathbf{<b_i,b_j>=0 \ (for \ i \neq j)}$
$\mathbf{<b_i,b_i>=1(i로 같음)}$

Orthogonal Basis

$\mathbf{<b_i,b_j>=0 \ (for \ i \neq j)}$을 만족하는 basis를 의미한다.

Orthogonal Complement

향후 필요하면 공부하여 설명을 적어보려고 한다.