AI가 알려주는 대로 AI 공부해보기-2

KIYOUNG KWON·2025년 4월 27일

AI가 알려주는 대로 AI 공부해보기

목록 보기

2/2

인공지능 수학 정리

해당 내용들은 수학자와 함께하는 인공지능 수학 with 파이썬의 1~4장 내용의 일부를 정리한 것 입니다. 어느정도 짚고 넘어갈만한 내용들만 뽑아서 정리를 해보았습니다.

가우스-조르당 소거법 (Gauss-Jordan Elimination)

가우스-조르당 소거법은 연립방정식을 푸는 과정으로, 행렬을 '완전 가우스 소거형 (Reduced Row Echelon Form, RREF)'으로 만든다.

핵심 과정

피벗(1)을 만든다.
피벗 열의 다른 요소를 0으로 만든다.
해를 쉽게 읽을 수 있다.

간단한 예시

\begin{bmatrix} 1 & 2 & -1 & | & 3 \\ 2 & 3 & 1 & | & 7 \\ -1 & -1 & 2 & | & -1 \end{bmatrix} \quad \longrightarrow \quad \begin{bmatrix} 1 & 0 & 0 & | & x \\ 0 & 1 & 0 & | & y \\ 0 & 0 & 1 & | & z \end{bmatrix}

차원 (Dimension)

차원이란, 벡터공간을 표현하는 데 필요한 기저벡터의 수를 의미한다.

2차원 공간 → 기저 2개
3차원 공간 → 기저 3개

수식

\text{Dimension} = \text{Number of Basis Vectors}

선형독립성 (Linear Independence)

벡터 집합이 선형독립이라면, 어떤 벡터도 다른 벡터들의 선형결합으로 표현할 수 없다.

수학적으로는:

c_1 \mathbf{v}_1 + c_2 \mathbf{v}_2 + \cdots + c_n \mathbf{v}_n = \mathbf{0}

이 방정식을 만족하는 유일한 해가

c_1 = c_2 = \cdots = c_n = 0

이면 선형독립이다.

그림

독립: 서로 다른 방향
종속: 같은 직선 위에 존재

기저 (Basis)

기저는 벡터공간을 생성할 수 있는 최소한의 선형독립 벡터 집합이다. 모든 벡터는 이 기저벡터들의 선형 결합으로 표현된다.
간단하게 말하자면 벡터공간의 기준(x,y 축 같은)이라고 보면 된다. 기저 끼리는 선형독립이다.

예시

2차원 공간의 기저:

\mathbf{e}_1 = (1,0), \quad \mathbf{e}_2 = (0,1)

모든 ((x,y))는 다음처럼 표현할 수 있다:

x \mathbf{e}_1 + y \mathbf{e}_2

벡터의 내적 (Dot Product)

벡터의 내적은 두 벡터 사이의 방향성과 크기 관계를 나타내는 연산이다. 두 벡터 $\mathbf{a}$ , $\mathbf{b}$ 에 대해,

\mathbf{a} \cdot \mathbf{b} = \|\mathbf{a}\| \|\mathbf{b}\| \cos \theta

또는 좌표로 표현하면,

\mathbf{a} \cdot \mathbf{b} = a_1 b_1 + a_2 b_2 + \cdots + a_n b_n

성질

$\mathbf{a} \cdot \mathbf{b} = 0$ → 두 벡터는 직교(orthogonal)

벡터의 미분 (Vector Derivative)

벡터에 대해 미분을 수행하면, 각 원소별로 미분한 벡터나 행렬이 된다. 예를 들어, 스칼라 함수 ( f(\mathbf{x}) )에 대해,

\frac{\partial f}{\partial \mathbf{x}} = \begin{bmatrix} \frac{\partial f}{\partial x_1} \\ \frac{\partial f}{\partial x_2} \\ \vdots \\ \frac{\partial f}{\partial x_n} \end{bmatrix}

이를 그라디언트(Gradient) 라고 부른다.

선형변환 (Linear Transformation)

선형변환은 벡터공간에서 벡터공간으로 가는 선형 연산이다. 선형변환 $T$ 은 다음 두 가지 성질을 만족해야 한다:

덧셈 보존: $T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v})$
스칼라배 보존: $T(c \mathbf{v}) = c T(\mathbf{v})$

수식

T: V \to W

$V$ 와 $W$ 는 (같거나 다른) 벡터공간이다.

표준행렬 (Standard Matrix)

선형변환 $T$ 은 항상 하나의 행렬 $A$ 로 표현될 수 있다. 즉, 임의의 벡터 $\mathbf{x}$ 에 대해

T(\mathbf{x}) = A\mathbf{x}

이때 이 $A$ 를 표준행렬이라 한다.

표준행렬 만드는 법

기저벡터들을 변환한 결과를 열로 모아 행렬을 만든다.

직교연산자 (Orthogonal Operator)

직교연산자는 길이를 보존하고, 각도를 보존하는 선형변환이다. 즉, 어떤 벡터 $\mathbf{v}$ 에 대해 변환을 적용해도,

\| T(\mathbf{v}) \| = \| \mathbf{v} \|

이다.

조건

표준행렬 $Q$ 가 직교행렬이려면:

Q^\top Q = I

$(Q^\top$ 는 $Q$ 의 전치행렬, $I$ 는 항등행렬)

기하학적 의미

회전 (rotation)
대칭 (reflection)
(길이를 변형하지 않는 변환)

중간정리

책에 나오는 개념들을 리마인드 한다는 느낌으로 정리를 해보고 있는데 아직 인공지능과 구체적인 관계성은 잘모르겠다. 우선 각 개념들의 의미를 충분히 파악을 해두려고 한다.

KIYOUNG KWON

이전 포스트

AI가 알려주는 대로 AI 공부해보기-2