Kwonlog
로그인
Kwonlog
로그인
Linear Classification_LG Aimers(9)
조권휘
·
2023년 1월 8일
팔로우
0
LG AImers
linear classification
0
LG Aimers
목록 보기
9/14
본 포스트는 LG Aimers 활동에 참여하며 온라인 AI 교육을 정리한 내용입니다!
프로그램에 관심이 있으시다면
https://www.lgaimers.ai/
를 참고해주세요!!
Linear Classification
h
w
(
x
)
=
θ
0
+
θ
1
k
1
ϕ
(
x
1
)
+
.
.
.
+
θ
d
ϕ
(
x
d
)
=
θ
T
k
d
ϕ
(
x
)
h_w(x) = \theta_0 + \theta_1k_1\phi(x_1) + ... + \theta_d\phi(x_d) = \theta^Tk_d\phi(x)
h
w
(
x
)
=
θ
0
+
θ
1
k
1
ϕ
(
x
1
)
+
.
.
.
+
θ
d
ϕ
(
x
d
)
=
θ
T
k
d
ϕ
(
x
)
모델의 출력이 discrete한 값을 가진다.
구성된 linear model은 입력 feature에서 coordinate에서 hyper plane으로 사용하게 된다.
hyper plane은 h(x) = 0 인 방정식을 가지게 된다.
단순하며 해석 가능성이 있고, 일반적으로 안정적인 성능을 보인다.
Y
=
R
d
Y=R^d
Y
=
R
d
에서 d차원의 공간에 입력 feature vector가 있는 것이다.
binary classification : yes/no
간단하고 해석 가능성이 높다.
Linear classification model
입력 변수와 parameter의 곱으로 score를 계산
score를 계산한 뒤 sign 함수를 적용한다.
sign(x)
if x > 0 : 1
if x < 0 : -1
Score and margin
score
결정 과정에서 model이 얼마나 confident한 지 측정 가능
margin
score에 y값을 곱하여 계산
서로 같은 부호의 값을 곱하면 positive의 값을 가지게 될 것이고, 서로 다른 값을 곱하면 negative의 값을 가지게 된다.
이러한 방식으로 정답이 맞는지를 판별할 수 있다.
Zero-one loss
답이면 0, 아니면 1인 loss function
함수를 미분하였을 때 값이 0이 되는 문제가 있다.
Hinge loss
L
o
s
s
h
i
n
g
e
(
x
,
y
,
w
)
=
m
a
x
{
1
−
(
w
⋅
ϕ
(
x
)
)
y
,
0
)
}
Loss_{hinge}(x, y, w) = max\{1-(w \cdot\phi(x))y, 0)\}
L
o
s
s
h
i
n
g
e
(
x
,
y
,
w
)
=
m
a
x
{
1
−
(
w
⋅
ϕ
(
x
)
)
y
,
0
)
}
1-margin과 0 중 큰 값을 선택하게 된다.
margin이 positive값, 즉 정답이라면 loss가 0이 된다.
margin이 negative값, 즉 오답이라면 loss가 커지게 된다.
Cross-entropy loss
classification에서 가장 많이 사용하는 loss function
두 개의 서로 다른 pmf를 가지는 확률 함수 사이에 서로 다른 정도를 표현하는 K-L divergence에 의해 표현된다.
계산한 model의 score 값은 실수 값인 반면 cross-entropy 값은 확률 값을 서로 비교하는 값이다.
Mapping
score 값을 classification하기 위해 mapping을 해야한다.
이 때 sigmoid 함수를 이용하여 mapping을 진행한다.
Sigmoid
score값을 sigmoid 함수에 대입하면 (0,1) 범위의 값으로 변환할 수 있다.
Multiclass Classification
n 차원 coordinate 상의 signal space에서 입력 feature를 plotting한 다음 해당 feature들을 적절하게 구분할 수 있는 hyper plane을 찾아야한다.
One-VS-All
binary classification을 이용하여 multiclass classification을 수행한다.
각 label을 위한 model parameter들을 내적 연산을 하여 score값을 얻을 수 있게 된다.
One Hot Encoding
두 개의 서로 다른 표 사이에 거리를 가깝게 하면서 학습
label을 지정하는 문제에서 각 vector마다 해당하는 위치에 1을 signaling을 함으로써 label의 정보를 기록한다.
조권휘
안녕하세요 :) Data/AI 공부 중인 한국외대 컴퓨터공학부 조권휘입니다.
팔로우
이전 포스트
Gradient Descent_LG Aimers(8)
다음 포스트
Advanced Classification Model_LG Aimers(10)
0개의 댓글
댓글 작성