차원 축소 2가지 방법

• feature selection : 기존 것 '선택'
• feature extraction : 변형해서 새로운 것 '추출'
  • 비지도학습(unsupervised) : PCA
  • 지도학습(supervised) : PLS

PCA

Principal Component Analysis(주성분분석)

x의 선형결합의 분산을 최대화하는 변수 추출

영상인식, 통계 데이터 분석(주성분 찾기), 데이터 압축(차원감소), 노이즈 제거 등 다양한 활용

PCA는 데이터 하나 하나에 대한 성분을 분석하는 것이 아니라, 여러 데이터들이 모여 하나의 분포를 이룰 때 이 분포의 주 성분을 분석해 주는 방법이다.

PLS

Partical Least Seuares(부분 최소제곱법)

x의 선형결합과 y간 공분산을 최대화하는 변수 추출

X라는 독립변수들의 선형결합과 Y라는 종속변수 이 2개 간의 공분산을 최대화하는 새로운 변수로 추출하는 것을 의미한다.
Y값을 고려한다는 것은 Y값의 분산을 활용하는 것이다.

선형결합

벡터에 스칼라를 곱해준 것들을 더하는 것이다.

벡터: 크기와 방향이 있는 물리량, 방향성을 함께 고려해야 하는 성분
스칼라: 크기만 있고 방향이 없는 물리량, 방향성을 가지지 않는 성분
이산: 연속되어 있는 않은 공간
확률변수: 값에 따라 다른 값을 가진다