1. 직교행렬 개념
직교행렬 Q는 다음 성질을 만족
즉, 행과 열이 서로 직교하고 단위 벡터인 행렬
- 직교 기저 개념 확장
행/열 벡터가 서로 직교하고 길이가 1인 기저
2. 직교행렬이 중요한 이유
* 수학적 관점에서 중요한 이유
- 직교행렬은 유클리드 공간의 기하 구조(거리, 각도, 직선성)을 왜곡하지 않고 좌표계만 바꾸는 역할을 한다.
- 변환 후 벡터의 성질(길이, 각도)가 유지되므로 데이터 분석/기하 알고리즘에서 해석이 용이
- 행렬의 열벡터 (또는 행벡터)가 서로 직교이고 길이가 1이므로, 이 벡터들이 직교 기저 역할을 한다.
* 계산/수치적 관점에서 중요한 이유
- 직교행렬의 역은 전치이므로 역행렬 계산이 단순하다. -> 계산 비용과 복잡성이 낮아진다.
3. 직교와 영공간
직교란 두 벡터의 내적이 0이란 뜻이다. =0
즉 벡터공간에서 "서로 전혀 상관없는 방향" 이라고 볼 수 있다. 벡터 집합이 서로 직교한다는 것은 독립적이고 중복 없는 정보라고 볼 수 있다.
영공간(Ax=0)의 의미는 A의 열공간에 영향을 주지 않는 방향을 뜻한다. 즉, 행렬이 못 보는 방향, 정보 손실이 발생하는 차원을 뜻한다.
랭크가 낮을수록 영공간이 커진다. (정보 손실이 큼)
- 핵심 직교 관계
행공간과 영공간은 서로 직교, 열공간과 좌영공간은 서로 직교이다.
Ax=0 (영공간) -> x는 A의 행공간과 직교하는 벡터
Ax=b (열공간) -> 해가 존재하려면 b는 A의 열공간 안에 있어야함.
만약 b가 열공간에 없으면 b를 열공간에 직교분해해 최소제곱 해를 구해야한다.
4. 요약
직교 : 두 벡터가 서로 독립적이고 상호작용이 없는 상태 (내적=0)
영공간 : 행렬이 정보를 무시하는 방향들의 집합
관계 : 행렬이 정보를 보는 공간과 무시하는 공간은 항상 직교한다.
ML Engineer