# Linear Discriminant Analysis

ays_tudio

시작하기 전에 분류기법 종류 확인하기 질적 반응변수를 예측하는데 사용될 수 있는 분류기는 아래와 같은 기법이 있다. 로지스틱 회귀(logistic regression) 선형판별분석(linear discriminant analysis) K-최근접이웃(k-nearest neighbor hood) 일반화가법모델(generalized additive model) 트리(tree) 랜덤포레스트(random forest) 부스팅(boosting) 서포트 벡터 머신(support vector machine) LDA LDA 분류기는 개별 클래스 내의 관측치들이 클래스 특정(클래스 별) 평균 벡터와 클래스 공통의 분산 $\sigma^{2}$을 갖는 정규분포를 따른다는 가정 하에 이 파라미터에 대한 추정값을 베이즈 분류기에 대입하여 얻는다. 즉, 개별 클래

amin

데이터셋에 대해 이야기 할 때, 차원이란 feature와 동의어입니다. 차원 축소의 기법인 PCA 와 LDA에 대해 공부하고, 두 방식의 공통점과 차이점에 대해 서술하세요. PCA(Principal Component Analysis:주요 구성 요소 분석) : feature값의 평균을 기점으로 Eigen value Decomposition(고윳값 분해)을 통해서 공분산 행렬, 고윳값, 고유 벡터를 구한 뒤 고유 벡터를 기준으로 한 축으로 볼 때 분산이 제일 넓게 투영된 것입니다. 이렇게 PCA를 하는 목적을 최적의 Feature를 선택한다고 해서 Feature Selection(특징 선택)이라 하거나 n개의 Feature를 n-1개 이하의 Feature로 감소시킨다고 하여 Feature Dimension Reduction(기능 차원 축소)이라고도 합니다. LDA(Linear Discriminant Analysis:선형 판별 분석) : 기본적으로 어떤 축이

cleansky

선형판별분석 (Linear Discriminant Analysis, LDA) LDA는 전통적인 선형 학습법이며, 이진 분류 문제에서 Ronald A. Fisher가 가장 먼저 사용하였기 때문에 Fisher's discriminant analysis (FDA)라고도 불린다. 아이디어는 간단하지만 강력하다. 훈련 데이터를 어떠한 직선 위에 투영시킨 점을 다른 클래스끼리는 최대한 멀게 위치하게 하고, 동일 클래스에 속한 샘플들끼리는 최대한 가깝게 위치하도록 하는 것이다. ([그림 1] 참조) > 같은 클래스끼리는 가깝게, 다른 클래스끼리는 멀게 이진 분류 문제에서 각 클래스 내 데이터 집합을 $\mathcal{X}i$, $i \in {0, 1}$이라 하고 각 데이터 집합의 평균벡터와 공분산행렬을 각각 $\bm{\mu}i$, $\bm{\Sigma}_i$라 하자. 훈련 데이터를 어떠한 벡터 $\mathbf{w}$에 projection하여 $y=\mathbf{w}^T\mathbf