선형회귀:
관측값 x_n과 이에 해당하는 표적값 t_n이 훈련집합으로 주어졌을 때 회귀모델의 목표는 새 변수 x의 표적값 t를 예측하는 것인데(입력이 주어졌을때 타겟변수를 예측하는것), 이때 회귀모델로 선형함수를 사용하면 선형회귀라고 한다.
다차원의 입력이 들어왔을때 타겟 스칼라변수 하나를 예측하는 함수를 추정해내는것.
기저함수:
선형회귀에서 입력변수에 다음과 같은 고정 비선형 함수들의 선형결합을 사용할 수 있는데
𝑦(𝑥, 𝑤) = 𝑤0 + ∑ 𝑤𝑗𝜙𝑗(𝑥)
이때 𝜙𝑗(𝑥) 를 기저함수 라고한다.
정규화항:
정규화와 혼동이 쉽다.
원 표현은 regularization term.
많은 수의 매개변수를 가진 모델들의 과적합문제를 조절하기위해 매개변수의 크기 자체를 페널티로 주는 항을 오차함수에 추가한다.
페널티역할을 하는 항이 정규화항 이다.
편향분산 트레이드 오프:
기대오류는 편향, 분산, 노이즈로 분해된다.
유연한 모델은 낮은 편향값과 높은 분산값을 가진다.
그와 반대로 엄격한 모델은 높은 편향값과 낮은 분산값을 가진다.
각각은 트레이드 오프 관계에 있다.
트레이드오프:
하나가 증가하면 다른 하나는 무조건 감소한다는 것을 뜻한다.
정해진 100의 공간에 1이 값인 물체 110개를 넣으려면 100까지 넣고 먼저 담겨있던
10개를 빼야 나머지 10개를 넣을 수 있다.
단점 :
고분산 학습 알고리즘은 트레이닝 셋을 잘 표현하기는 하지만, 지나치게 큰 노이즈나 아예 부적절한 트레이닝 데이터까지 과적합(overfitting)할 위험이 있다. 반대로 고편향 학습 알고리즘은 과적합(overfitting) 문제가 거의 없는 단순한 모델을 제시하지만 트레이닝 데이터로부터 중요한 규칙성을 제대로 포착하지 못하는 과소적합(underfitting) 문제가 발생한다
