커널 :
한 공간에서 다른 공간으로 데이터포인트들을 이동시킬 수 있고, 새로운 공간에서의 조작이 원 공간에서 충분히 유의미할 때, 그 이동하는 함수를 커널이라고 부른다. 당연히, 아무런 변환이나 되는 것은 아니고, 유효한 커널의 조건이 존재한다.
데이터들을 다른차원으로 비선형변환 후 우리가 원하는 분류를 수행하기 위해 사용하는 것이 커널함수.
훈련데이터의 일부 혹은 전부를 예측단계에도 사용할 수 있다. 메모리베이스 방식이 모두 여기에 해당하고, 커널함수를 이용하는 방식도 여기에 속한다
원래의 오류함수를 커널함수로 나타낼 수 있다. 이때 커널함수로 나타낸 데이터포인트들은 변형된 다른 차원에서의 관점이고, 원래 식은 원래 데이터포인트들이 속했던 차원의 관점이다. 둘은 동일하며 표현만 다른 것이다.
계산상의 이점이 없더라도 높은차원의 특징공간을 직접 다루지 않아도 되는 장점이 있다.
가우시안 프로세스는 함수들의 분포를 추측해내는 과정이다. 매개변수모델로부터 시작하는 것이 아니다. 가우시안 프로세스의 과정에서도 자연스럽게 커널함수를 관찰할 수 있다.
듀얼표현 :
입력 데이터포인트들에 커널을 적용한 뒤 다른 공간에서 성립하는 식을 얻어낼 수 있는데, 이것을 듀얼 표현(듀얼 공식화)라고 한다. 이 두 식은 각 공간에서의 관점을 나타낸 것일 뿐 본질적으로 동일하며, 한쪽에서 푼 결과가 다른쪽에서도 유효하다.
서포트 벡터 :
SVM(support Vector Machine)에서 선형분리 가능한 집합의 경계부분 마진을 최대화하려고 하면, 필연적으로 경계부분에 있는 몇 개의 데이터 포인트만이 중요하고 나머지는 다 버려도 되는데, 이 경계부분에서 마진 형성에 영향을 주는 데이터포인트들을 서포트벡터라고 한다. 데이터포인트는 모두 벡터로 볼 수 있기 때문에 이렇게 부른다.
SVM은 경계부분의 마진을 최대화하는 것이 기본 아이디어.
식을 세우고 풀면, 서포트벡터만이 중요하다는 결론을 얻는다.(나머지는 버려짐)
slack variable :
완전히 선형분리가 가능하지 않더라도 약간의 오분류 가능성을 주면 SVM을 적용할 수 있는데, 어느정도 오분류를 허용할 것인가를 결정하는 변수를 slack variable이라고 한다.
선형분리가 완전히 가능하지 않더라도 slack variable을 도입해서 해결할 수 있다.
