최소자승법 유도

병민강·2023년 1월 16일
0

머신러닝

목록 보기
1/1

최소제곱법 (method of least squares)

  • 최소제곱법 또는 최소자승법 (링크)
    잔차제곱합(RSS: Residual Sum of Squares)를 최소화하는 가중치 벡터를 구하는 방법
    우리가 사용하는 예측 모형은 다음과 같이 상수항이 결합된 선형모형
    y^=Xβ\hat{y} = X\beta
    (=xaTβa=βaTxa=x_a^T\beta_a = \beta_a^Tx_a)
    #N개의 데이터에 대해서
    y^=[y0^y1^y2^yN^]\hat{y} = \begin{bmatrix}\hat{y_0}\\\hat{y_1}\\\hat{y_2}\\\cdots\\\hat{y_N} \end{bmatrix}, X=[1x11x12x1D1x21x22x2D1x31x32x3D1xN1xN2xND]X = \begin{bmatrix}1&x_{11}&x_{12}&\cdots&x_{1D}\\1&x_{21}&x_{22}&\cdots&x_{2D}\\1&x_{31}&x_{32}&\cdots&x_{3D}\\\cdots\\1&x_{N1}&x_{N2}&\cdots&x_{ND} \end{bmatrix}, β=[β0β1β2βD]\beta = \begin{bmatrix}\beta_0\\\beta_1\\\beta_2\\\cdots\\\beta_D \end{bmatrix}
    이때 잔차 벡터(residual vector) e는
    e=yy^=yβXe = y - \hat{y} = y - \beta X
    이고 잔차 제곱합(RSS:residual sum of squares)은
    RSS=eTe  =(yβX)T(yβX)  =yTy2yTXβ+βTXTXβRSS = e^Te\\\quad \quad \;=(y - \beta X)^T(y - \beta X)\\\quad \quad \;=y^Ty - 2y^TX\beta + \beta^TX^TX\beta
    #전치 행렬의 특징
    (M+N)T=MT+NT(M+N)^T = M^T + N^T
    (cM)T=cMT(cM)^T = cM^T
    MTT=MM^{T\,T} = M
    (MN)T=NTMT(MN)^T = N^TM^T

#βTXTy\beta^TX^TyyTXβy^TX\beta는 행렬의 곱셈에 의해 스칼라 값이므로 βTXTy=yTXβ\beta^TX^Ty=y^TX\beta

0개의 댓글