회귀 분석 (Regression Analysis)

출처,참고

회귀 분석

회귀(영어: regress 리그레스[*])의 원래 의미는 옛날 상태로 돌아가는 것을 의미한다.

• 영국의 유전학자 프랜시스 골턴은 부모의 키와 아이들의 키 사이의 연관 관계를 연구하면서 부모와 자녀의 키사이에는 선형적인 관계가 있고 키가 커지거나 작아지는 것보다는 전체 키 평균으로 돌아가려는 경향이 있다는 가설을 세웠으며 이를 분석하는 방법을 "회귀분석"이라고 하였다. 이러한 경험적 연구 이후, 칼 피어슨은 아버지와 아들의 키를 조사한 결과를 바탕으로 함수 관계를 도출하여 회귀분석 이론을 수학적으로 정립하였다.

• 통계학에서 회귀 분석(regression analysis)은 관찰된 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤 적합도를 측정해 내는 분석 방법이다.

• 회귀분석은 시간에 따라 변화하는 데이터나 어떤 영향, 가설적 실험, 인과 관계의 모델링등의 통계적 예측에 이용될 수 있다.

  • 많은 경우 가정이 맞는지 아닌지 적절하게 밝혀지지 않은 채로 이용되어 그 결과가 오용되는 경우도 있다. 특히 통계 소프트웨어의 발달로 분석이 용이해져서 결과를 쉽게 얻을 수 있지만 분석 방법의 선택이 적절했는지 또한 정보 분석이 정확한지 판단하는 것은 연구자에 달려 있다.

• 구분

  • 단순회귀분석 (simple regression analysis)

    • 하나의 종속변수와 하나의 독립변수 사이의 관계를 분석할 경우

  • 다중회귀분석 (multiple regression analysis)

    • 하나의 종속변수와 여러 독립변수 사이의 관계를 규명하고자 할 경우

단순회귀분석 (simple regression analysis)

출처

독립변수가 하나인 단순회귀모형에 대해 알아보겠습니다. 단순회귀모형의 구조는 다음과 같습니다.

$y_i = \beta_0 + \beta_1x_i +\epsilon_i (i=1,2,...n)$

• $y_i$: i번째 측정된 y의 값
• $\beta_0, \beta_1$: 모집단 회귀계수로 절편과 기울기
• $x_i$: i번째 주어진 독립변수의 값
• $\epsilon_i$: i번째 측정된 오차

• 여기서 n은 관찰값(observed value)의 수입니다.

  • 회귀분석을 위해서, n개의 오차$(\epsilon_i, i=1,2,...n))$는 서로 독립이며(독립성), 동일한 분포 $N(0, \sigma^2)$ 를 따른다(정규성, 등분산성)고 가정합니다.
  • 따라서 회귀계수를 추정한 후에는 이 가정을 확인하는 과정이 반드시 필요합니다.

• 회귀식에 쓰일 회귀계수는 최소제곱법(The Method of Least Square) 또는 최대가능도추정법(The Method of Maximum Likelihood Estimation) 등을 통해 추정할 수 있습니다.

다중회귀분석 (multiple regression analysis)