# Classfier

ays_tudio

분류기classifiers 질적 반응변수를 예측하는데 사용될 수 있는 분류기는 아래와 같은 기법이 있다. 로지스틱 회귀(logistic regression) 선형판별분석(linear discriminant analysis) K-최근접이웃(k-nearest neighbor hood) 일반화가법모델(generalized additive model) [트리(tree)](https://velog.io/@ays_tu

jh_one

확률적 경사 하강법: SGD(Stochastic Gradient Descent) 확률적 경사 하강법은 대표적인 점진적 학습 알고리즘이다. 확률적 경사 하강법은 마치 산 꼭대기에서 경사를 따라 내려가는 방법이다. 모든 방법들 중 가장 빠른 길이 경사가 가장 가파른 길이다. 경사를 내려올 때 가장 가파른 길을 찾아 내려오는 것도 중요하지만, 조금씩 내려오는 것도 중요하다. 이렇게 조금씩 내려오는 과정이 바로 경사 하강법 모델을 훈련하는 것이다. 학습용 데이터셋으로 학습시킨 모델에서 가장 가파른 길을 찾는 방법은 무엇일까? 당연히 학습용 데이터셋 중 하나가 가장 가파른 길일 것이다. 하지만 전체 데이터셋을 사용하지 않고, 하나의 샘플을 랜덤하게 골라 가장 가파른 길을 찾는다. 학습용 데이터셋에서 하나의 샘플 선택 후 경사를 조금 하강, 다음은 또 학습용 데이터셋에서 다른 하나의 샘플 선택 후 경사를 조금 하강. 이것을 모든 셈플을 사용할 때까지 반복한다

jh_one

로지스틱 회귀(Logistic Regression)이란? 로지스틱 회귀는 이름은 회귀지만, 분류 모델이다. 이 모델은 선형 회귀(Linear Regression)과 동일하게 선형 방정식을 학습한다. 이진 분류에서 선형 방정식으로 나온 값을 확률로 변환하여 0.5이상이면 양성 클래스(1), 0.5보다 작으면 음성 클래스(0)으로 분류한다. 그렇다면 로지스틱 회귀 모델에서 선형 방정식은 무엇이고, 이 값을 어떻게 확률로 변환할까? 여기에서 a, b, c, d, e는 가중치 혹은 계수이다. z값은 어떠한 값도 가능하다. 하지만 우리는 확률로 변환해야 하기 때문에 z의 범위를 0~1로 변환해주어야 한다. z의 값을 0~1의 범위로 변환해주는 방법이 시그모이드 함수(sigmoid function)