선형시스템은 연립일차방정식과 같다.
그 연립일차방정식을 행렬의 형태로 표기한다.
소거법, 대입법을 활용하여 연립방정식을 수기로 풀 수 있었지만,
만약 식 Equation이 n개이고 미지수 Unknown가 m개(n=1000, m=1000)라면 풀 수 있을까?
노트에 '날 죽여라'라고 적어놨다.
선형대수 Linear Algebra의 목표는 그 어떤 문제라도 Ax = b의 형태로 문제를 해결하는 데 있다.
- A는 m * n 행렬
- x는 n-vector
- b는 m-vector
가우스 소거법 Gauss Elmination
- 전방 소거법 Forward Elimination
- Linear system을 가장 풀기 쉬운 꼴로 변형시켜주고,
- Linear system의 rank를 알려준다.
- 또, Linear system이 consistent or inconsistent 인지 알려준다.
- 후방 대입법 Back-substitution
으로 수행한다.
LU Elimination : numpy에서 Gauss Elimination을 구현.
Ax = b 에서,
행렬 A를 Lower triangular matrix와 Upper triangular matrix의 곱으로 표기한다.
Ax=b ⇒ (LU)x=b ⇒ L(Ux)=b ⇒ Ly=b (단, Ux=y)
- L은 Gauss Elimination의 Foward Elimination에서 replacement, scailing을 구현한 것.
- U는 Foward Elimination을 한 후 남은 것.
LU Elimination은
- 수치적 안정성
- b가 업데이트될 때마다 x를 실시간으로 구할 수 있다
는 장점때문에 활용된다.
전치 행렬 Transpose Matrix
행과 열을 바꾼 행렬
영 행렬 Zero Matrix
항등 행렬 Identity Matrix ∈ 정방 행렬 Square Matrix
텐서 tensor
숫자가 늘어설 수 있는 방향이 K개면 K-tensor.
- 0-tensor = scalar
- 1-tensor = vector
- 2-tensor = matrix
선형 조합 Linear Combination
Linear Algebra와 차이점?
선형 변환 Linear Transformation
함수 function 개념 도입
Linear Function은 아래 두 조건을 만족한다
- f(x+y) = f(x)+f(y)
- f(cx) = cf(x) (단, c = scalar)
Vector
직교 Orthgonal
투영 Projection
보완 벡터 complement vector
정규직교행렬 Orthonormal matrix
직교 개념을 이해하면, QR분해로 넘어갈 수 있다.
QR 분해
A=QR
- A는 주어진 행렬
- Q는 Orthonomarl matrix
- R은 나머지
Ax=b ⇒ (QR)x=b ⇒ Q(Rx)=b ⇒ Qy=b (단, Rx=y)
풀이는
- 내적을 구하고 (ex. Qy=b부터 계산하고,)
- 후방대치법 활용 (ex. Rx=y를 계산한다.)
Gram-Schmidt process를 행렬로 코드화한 것이다.
장점은
- 계산이 빠르다 (하지만 R은 병렬 처리할 수 없다.)
- b가 자주 업데이트되는 경우, x를 실시간으로 구할 수 있다.
비교
| LU | QR |
|---|---|
| Linear sys를 풀이할 경우 병렬 처리 불가 | Q행렬이 꽉찬 형태기 때문에 메모리 사용량이 많다 |
특이값 분해 SVD
확대|축소, 차원변형의 개념 도입.
| LU | QR | SVD |
|---|---|---|
| Square Matrix만 풀이가능 | Square Matrix만 풀이가능 | 일반 행렬도 풀이가능 |
주성분 분석 PCA Principal Component Analysis
공분산행렬 Covariance matrix과 고유값 분해 Eigenvalue
집합 set과 공간 space의 개념 필요.
space는 덧셈 연산과 스칼라 곱 연산에 닫혀있는 set.
최소제곱법 Least Squares Method
해가 없다. 하지만 최선의 선을 긋자. (projection개념 도입)
⇒ 선형회귀 Linear Regression으로 응용되는 개념이다.
