18. 특이값 분해(SVD)

수반연산자를 임의의 선형변환 $T : V \to W$로 확장해서 생각해보자. 이때, 수반사상 $T^*$는 $W$에서 $V$로의 선형변환이고, $[T^*]_\beta^\gamma = ([T]^\gamma_\beta)^*$일 것이다. 재밌는 점은 $V$의 선형연산자 $T^*T$는 positive semi-definite하고, $rank(T^*T) = rank(T)$라는 점이다. 이를 이용하여 특이값 정리가 나오게 된다.

정리 특이값 정리
유한차원 내적공간 $V$와 $W$, 랭크가 $r$인 선형변환 $T: V\to W$를 가정하자.
이때,

이 되도록 하는 $V$의 정규직교기저 $\{v_1, v_2, \dots, v_n\}$과 $W$의 정규직교기저 $\{u_1, u_2, u\dots, u_m\}$, 양의 스칼라 $\sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_r$가 존재한다.
역으로 이야기하면, $v_i(1 \leq i \leq n)$은 $T^*T$의 고유벡터가 되고, 각 고유벡터에 대응하는 고유값은 $1\leq i \leq r$일 때, $\sigma_i^2$이고, $i>r$일 때는 0이다. 즉, $\sigma_1,\sigma_2, \dots ,\sigma_r$는 $T$에 의해 유일하게 결정된다.

증명
$V$의 선형연산자 $T^*T$는 랭크가 $r$이고, positive semi-definite이다. 이를 이용하여, $T^*T$의 고유값 $\lambda_i$에 대응하는 고유벡터로 이루어진 정규직교기저 $\{v_1, v_2, \dots, v_n\}$가 존재함을 알 수 있다. 이때, positive semi-definite하기 때문에 고유값을 정렬하여 $\lambda_1 \geq \lambda_2 \geq \dots\geq \lambda_r >0$이고, $i>r$일 때, $\lambda_i = 0$이 될 것이다. 또한, $1 \leq i \leq r$에 대하여, $\sigma_i = \sqrt{\lambda_i}, u_i = {1 \over \sigma_i}T(v_i)$라고 정의하자. 이제 $\{u_1, u_2, \dots, u_n\}$이 $W$의 정규직교 부분집합임을 보이면 된다. $q \leq i, j\leq r$이면 다음이 성립한다.

이를 통해 $\{u_1, u_2, \dots, u_r\}$이 정규직교임을 쉽게 보일 수 있다. 또한, 이 집합을 확장하여 $W$의 정규직교 기저를 얻을 수 있다. 이제 우리는 $1 \leq i \leq r$일 때, $T(v_i) = \sigma_iu_i$임을 알게 되었다. 또한, $i > r$일 때, $T^*T(v_i) = 0$이고 이를 통해 $T(v_i) = 0$가 임을 알 수 있다.

이제 $\sigma_i$가 유일함을 보이자. $\{v_1, v_2, \dots, v_n\}, \{u_1, u_2, \dots, u_m\}, \sigma_1 \geq \sigma_2 \geq \dots \sigma_r >0$ 이 세가지 조건이 만족되었다고 가정하자. 이때, $\sigma_i = \sqrt{T^*T(v_i)}$를 이용하면 $q \leq i \leq m, 1 \leq j \leq n$에 대해 다음이 성립한다.

이제 임의의 $1 \leq i \leq m$에 대해 $T^*(u_i)$를 다음과 같이 보일 수 있다.

정리해보면, $i \leq r$일때, $T^*T(v_i) = T^*(\sigma_iu_i) = \sigma_iT^*(u_i) = \sigma^2v_i$로 정리되고, $i > r$일 때, $T^*T(v_i) = T^*(0) = 0$으로 정리된다. 즉, 각 $v_i$는 $i \leq r$에 대해 고유값 $\sigma_i^2 = \lambda_i$에 대응하는 고유벡터가 되고, $i>r$에 대해서는 0이다.

정의
위의 정리에서 정의한 유일한 스칼라 $$\sigma_1,\sigma_2, \dots ,\sigma_r$를 $T$의 특이값이라 한다. $r<m, r<n$이면 특이값은 $\sigma_{r+1} = \dots = \sigma_k = 0$으로 확장이 가능하다. 이때, $k$는 $m$과 $n$의 최소값이다.

여기서 선형변환 $T$의 특이값은 $T$에 의해 유일하게 결정되지만, 위 정리의 정규직교기저는 유일하게 결정되지 않는다는 점에 유의하자. 왜냐하면 $T^*T$의 고유벡터로 이루어진 정규직교기저는 당연히 하나 이상 존재할 것이기 때문이다. 교유값은 유일하지만, 이에 대응하는 고유벡터가 유일하지 않다는 점을 떠올리면 쉽게 이해할 수 있다.

또한, 선형 변환 $T : V\to W$와 그 수반연산자 $T^*$의 특이값은 서로 같게 된다. 또한, $V$와 $W$의 정규직교기저를 뒤집으면 $T^*$ 의 정규직교기저가 될 것이다.

자연스레 이제 연산자에서 행렬로 특이값 정리를 이어가보도록 하자.

정의 $m \times n$행렬 $A$에 대하여 선형변환 $L_A$의 특이값을 $A$의 특이값이라 정의한다.

정리 2 행렬의 특이값 분해 정리
랭크가 $r$인 $m\times n$행렬 $A$가 있다고 하자. 이 행렬의 특이값은 $\sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_r >0$이라 할때, $m \times n$ 행렬 $\Sigma$를 다음과 같이 정의하자.

이제 $A = U\Sigma V^*$인 $m \times m$ 행렬 $U$와 $n \times n$행렬 $V$가 존재한다.

증명
$T = L_A : F^n \to F^m$이 있다고 하자. 이때 정리 1에 의해 $T(v_i) = \sigma_iu_i(1\leq i \leq r) , T(v_i) = 0(i >r)$인 $F^n$의 정규직교기저 $\beta = \{v_1, v_2, \dots, v_n\}$과 $F^m$의 정규직교기저 $\gamma = \{u_1, u_2, \dots, u_m\}$이 존재한다. 모든 $j$에 대하여 $j$열이 $u_j$인 $m\times m$ 행렬을 $U$, 모든 $j$에 대하여 $v_j$인 $n\times n$행렬을 $V$라 하자. 중요한 점은 이대 $U, V$ 모두 유니타리 행렬이다.

이때 행렬표현에 의해 $AV$의 $j$열은 $Av_j = \sigma_ju_j$일 것이다. $\Sigma$의 $j$열은 $\sigma_je_j$($e_j$는 $F^m$의 $j$번째 표준벡터)이다. 이를 이용하면 $U\Sigma$ 의 $j$열은 다음과 같을 것이다.

이때, $AV$와 $U\Sigma$는 모두 $m\times n$행렬이고, 대응하는 열이 같다. 다시말해 $AV = U\Sigma$이므로, $A = AVV^* = U \Sigma V^*$이 된다.

정의
특이값이 $\sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_r >0$이고, 랭크가 $r$인 $m\times n$행렬 $A$를 생각하자. 이때, 정리 2에서 정의한 것처럼 유니타리 행렬 $U, V$와 $m\times n$행렬 $\Sigma$에 대해 $A = U\Sigma V^*$가 성립할 때, 이 분해를 $A$의 특이값 분해라 한다.

여기서 $V$의 열은 $\beta$의 벡터이고, $U$의 열은 $\gamma$의 벡터이다. 즉, 행렬의 특이값 분해는 행렬을 행공간, 열공간, 고유값 각각을 가지는 세 행렬로 나누는 것이다.