행렬의 성질

[목차]
1. 정부호(positive definite)와 준정부호(positive semi-definite)
2. 행렬 놈(norm)
3. 대각합 (trace)
4. 행렬식(determinant)

1. 정부호와 준정부호

영 벡터가 아닌 모든 벡터 $x$에 대해 다음 부등식이 성립하면 행렬 $A$가 양의 정부호(positive definite)라고 한다.

만약 이 식이 등호를 포함한다면 양의 준정부호(positive semi-definite)라고 한다.

위 방법에 따르면 모든 행렬에 대해 양의 정부호와 준정부호를 정의할 수 있지만 보통 대칭행렬에 대해서만 정의한다.

예를 들어 항등행렬(identity matrix) $I$는 양의 정부호다. 다음 식에서 벡터 $x$가 영벡터(zeros-vector)가 아니라는 점에 주의한다.

다음과 같은 행렬도 양의 정부호다.

이는 다음처럼 증명할 수 있다.

모든 벡터 $x^T = [x_1 \; x_2 \; x_3]$에 대해

이 성립한다. 그리고 이 값은 제곱의 합으로 이루어졌으므로 $x$가 영벡터인 경우($x_1 = x_2 = x_3 = 0$)를 제외하고는 항상 0보다 크다.

2. 행렬 놈 (norm)

행렬의 놈(norm)은 행렬 $A$에 대해 다음 식으로 정의되는 숫자다. 보통 $\Vert A \Vert_p$로 표기한다. 이 식에서 $a_{ij}$는 행렬 $A$의 $i$번째 행, $j$번째 열의 원소다. 행렬의 놈에도 여러 정의가 있는데 여기에서는 요소별 행렬 놈(entrywise matrix norm)의 정의를 따른다.

$p$는 보통 1, 2 또는 무한대($\infty$)가 사용되는데 이 중 $p=2$인 경우가 가장 많이 쓰이므로 $p$값 표시가 없는 경우는 $p=2$인 놈이라고 생각하면 된다.
$p=2$인 놈은 프로베니우스 놈(Frobenius norm)이라고 불리며 $\Vert A \Vert_F$이라고 표기하기도 한다.

놈의 정의에서 놈은 항상 0보다 같거나 크다는 것을 알 수 있다.

놈은 모든 크기의 행렬에 대해서 정의할 수 있으므로 벡터에 대해서도 정의할 수 있다.
벡터의 놈에서 중요한 성질은 벡터의 놈의 제곱이 벡터의 제곱합과 같다는 것이다.

놈은 0 또는 양수이므로 놈의 제곱이 가장 작을 때 놈도 가장 작아진다. 따라서 놈을 최소화하는 것은 벡터의 제곱합을 최소화하는 것과 같다.

넘파이에서는 linalg 서브패키지의 norm() 명령으로 행렬의 놈을 계산할 수 있다.

- 놈의 4가지 성질

사실 위에서 쓴 놈의 공식은 공식적인 정의가 아니다. 정확한 놈의 정의는 다음 4가지 성질이 성립하는 행렬 연산을 말한다. 이러한 연산이 여러 개 존재하기 때문에 놈의 정의도 다양하다.

• 놈의 값은 0이상이다. 영행렬일 때만 놈의 값이 0이 된다.

• 행렬에 스칼라를 곱하면 놈의 값도 그 스칼라의 절대값을 곱한 것과 같다.

• 행렬의 합의 놈은 각 행렬의 놈의 합보다 작거나 같다.

• 정방행렬의 곱의 놈은 각 정방행렬의 놈의 곱보다 작거나 같다.

3. 대각합 (trace)

대각합(trace)은 정방행렬에 대해서만 정의되며 다음처럼 대각원소의 합으로 계산된다.

예를 들어 $N$차원 항등행렬(identity matrix)의 대각합은 $N$이다.

대각합을 구할 때는 절댓값을 취하거나 제곱을 하지 않기 때문에 대각합의 값은 놈과 달리 음수가 될 수도 있다.

대각합은 다음과 같은 성질이 있다. 아래의 식에서 $c$는 스칼라이고 $A, B, C$는 행렬이다.

• 스칼라를 곱하면 대각합은 스칼라와 원래의 대각합의 곱이다.

• 전치연산을 해도 대각합이 달라지지 않는다.

• 두 행렬의 합의 대각합은 두 행렬의 대각합의 합이다.

• 두 행렬의 곱의 대각합은 행렬의 순서를 바꾸어도 달라지지 않는다.

• 세 행렬의 곱의 대각합은 다음과 같이 순서를 순환시켜도 달라지지 않는다.

마지막 식은 곱셈에서 순서가 바뀌어도 대각합이 같다는 것을 이용하여 증명할 수 있다.

특히 마지막 식은 트레이스 트릭(trace trick)이라고 하여 이차 형식(quadratic form)의 미분을 구하는 데 유용하게 사용된다. 이 두 식에서는 $A, B, C$가 각각 정방행렬일 필요는 없다. 최종적으로 대각합을 구하는 행렬만 정방행렬이기만 하면 된다.

이차 형식의 트레이스 트릭 공식은 다음과 같다.

이 식은 원래의 트레이스 트릭 식의 $A$, $B$, $C$ 에 각각 $x^T$, $A$, $x$를 대입한 것이다. 이차 형식은 스칼라값이기 때문에 대각합을 취해도 원래의 값과 같다.

넘파이에서는 trace() 명령으로 대각합을 계산할 수 있다.

4. 행렬식 (determinant)

정방행렬 $A$의 행렬식(determinant)은 $\text{det}(A)$, $\text{det}A$, 또는 $|A|$라는 기호로 표기한다.

행렬식은 다음처럼 재귀적인 방법으로 정의된다.

우선 행렬 $A$가 $1\times 1$ 즉 스칼라인 경우에는 행렬식이 자기 자신의 값이 된다.

행렬 $A$가 스칼라가 아니면 여인수 전개(cofactor expansion)라고 불리는 다음 식을 이용하여 계산한다. 이 식에서 $a_{i,j}$는 $A$의 $i$행, $j$열 원소이고 $i_0$(또는 $j_0$)는 계산하는 사람이 임의로 선택한 행번호(또는 열번호)이다.

또는

위에서 '또는'이라고 한 이유는 두 식 중 아무거나 써도 같은 결과가 나오기 때문이다.
즉, 행렬에서 임의의 행 $i_0$ 하나를 선택하거나 임의의 열 $j_0$ 하나를 선택한 다음 이 값에 가중치 $(-1)^{i+j_0}M_{i,j_0}$ 또는 $ (-1)^{i0+j} M{i_0,j}$를 곱하여 더한 것이다.

가중치로 사용된 $M_{i,j}$는 마이너(minor, 소행렬식)라고 하며 정방행렬 $A$ 에서 $i$행과 $j$열을 지워서 얻어진 (원래의 행렬보다 크기가 1만큼 작은) 행렬의 행렬식이다.

마이너값도 행렬식이므로 마찬가지로 위의 정의를 이용하여 계산한다. 이처럼 점점 크기가 작은 행렬의 행렬식을 구하다 보면 스칼라인 행렬이 나오게 되는데 행렬식의 값이 자기 자신이 된다. 따라서 행렬식을 구하는 방법은 재귀적(recursive)이다.

마이너에 $(-1)^{i+j}$를 곱한 값 $(-1)^{i+j}M_{i,j}$을 여인수(cofactor)라고 하며 $C_{i,j}$로 표기한다.

여인수를 사용하여 위 여인수 전개식을 다시 표현하면 다음과 같다.

예를 들어 다음과 같은 행렬을 생각해보자.

여기에서 임의의 행 또는 열을 선택한다. 행이든 열이든 상관없다.

만약 첫 번째 열을 선택했다고 하면($j_0=1$), 이 행렬의 행렬식은 다음처럼 계산한다.

이때 마이너값 $M_{1,1}$, $M_{2,1}$, $M_{3,1}$는 각각 다음과 같은 행렬의 행렬식이다.

$M_{1,1}$은 원래의 행렬에서 $1$번째 행과 $1$번째 열을 지워서 만들어진 행렬의 행렬식이다.

$M_{2,1}$은 원래의 행렬에서 $2$번째 행과 $1$번째 열을 지워서 만들어진 행렬의 행렬식이다.

$M_{3,1}$은 원래의 행렬에서 $3$번째 행과 $1$번째 열을 지워서 만들어진 행렬의 행렬식이다.

이 마이너값 $M_{1,1}$, $M_{2,1}$, $M_{3,1}$은 마찬가지로 여인수 공식을 이용해서 계산할 수 있다.

예를 들어 $M_{1,1}$을 구하는 데 있어 첫 번째 행을 선택하기로 했다고 하자($i_0=1$), 그럼 여인수 전개식은 다음과 같아진다.

마찬가지 방법으로

가 되고 원래의 행렬식의 값은

넘파이에서는 linalg 서브패키지의 det() 명령으로 행렬식을 계산할 수 있다.

※ 출처

김도형의 데이터 사이언스스쿨 중 2.3 행렬의 성질