들어가기 전에
이 포스트는 연세대학교 학부 통계전산을 수강하고 정리한 글 입니다.
통계전산은 무슨 과목일까
학부 통계전산에서는 크게 세가지 정도의 주제를 배웠다. sampling, integration, optimization인데, 학기 초반부터 중후반까지 대부분 여러가지 sampling 기법을 배운 것 같다.
(1) Sampling
R에는 통계학 연구에 사용할 수 있는 다양한 패키지들이 있다. 정규분포 등 간단한 분포로부터의 sampling은 심지어 패키지도 필요없다. 그런데 실제 사용되는 분포는 그렇게 간단할 리가 없고, 이 세상에 존재하는 수많은 분포들을 모두 패키지로 구현해놓는 것은 불가능하기 때문에, 결국 내가 원하는 분포에서 샘플링하는 법을 스스로 익혀두어야 한다. 그럼 R 등의 프로그램이 '어떻게' 원하는 분포로부터의 샘플링을 하도록 할 것인가? 가 주된 물음이다. 이를 위해서 Inverse transform method, Acceptance-Rejection method, Copula를 활용한 dependent variables 의 생성, MCMC와 Gibbs sampling 등을 배운다.
추가적으로, '좋은 ' 통계적 추정을 위해서는 표준오차(통계량의 variance)가 작은 것이 유리하다. 이와 관련하여 몇 가지 variance reduction technique 도 다룬다.
이 과목을 수강할 당시에는 베이지안 통계학에 대한 개념이 전무해서 몰랐는데, 관련 내용이 베이지안 통계학에서 아주 유용하게 사용될 수 있다고 한다. 당장 베이즈 기본서를 펼쳐보면 MCMC와 Gibbs 샘플링이 최소 10번 등장하는 것을 볼 수 있다...
(2) Optimization
학부 수리통계학을 배우면서 가장 많이 접하는 개념 중 하나가 MLE(Maximum Likelihood Estimator)이다. MLE를 구하는 방법을 익히기 위해서 온갖 문제를 풀며 손목을 혹사하지만, 사실상 손계산으로 MLE를 구할 수 있는 경우는 얼마 되지 않는다. 예를 들어, 감마분포 parameter의 mle는 어떻게 구할 수 있을까?
기본적으로 MLE는 likelihood ftn의 argmax 구하기(머신러닝에서는 이에 -를 붙여 loss function의 argmin을 구하기도 하는 것 같다), 즉 최적화(optimization) 문제와 같다. 따라서 손계산이 불가능한 경우 numerical optimization 방법을 이용해야한다. 이와 관련한 대표적인 방법으로는 Newton's method, Gradient Descent 등이 있을 것이다.
(3) Integration
베이지안 통계학에서를 예로 들어 보자. Bayes theorem을 보면, 분모 부분은 marginal density 이기 때문에 필연적으로 적분 계산을 맞닥뜨리게 된다. 그러나 학부에서 배우는 간단한 분포도 손적분이 어려운데 실제로 필요한 분포를 손적분할 수 있을리가 만무하다. 앞서 sampling에서는 필요한 분포의 sample을 많이 뽑아 적분값을 근사시켰다면, 여기서는 적분 자체를 근사하고자 한다. (ex. 적분이 불가능한 함수를 비슷한 함수로 대체) 사실 둘이 맥락이 비슷하기 때문에 완전히 분리하여 설명하는 것은 어려울 듯하다. 어찌되었든 적분 계산 방법에 대한 논의는 통계전산의 주요한 토픽 중 하나이다. 보통 convex 함수의 미분을 구할 때 일차 미분식이 0이 되도록 하는 argument를 구한다는 점을 생각해보면, optimization 문제도 여기에 포함될 수 있을 것 같다.
