용어
편향 bias : 이 클수록 본 자리보다 먼곳에 치우쳐 있다
분산 variance : 이 클수록 밸류들이 흩어져 있다
앙상블
부트스트랩
bootstrap :
데이터에서 일부를 임의 추출한 후 복원추출하는 여러번의 과정
(복원추출 : 추출한 것을 그대로 다시 돌려주고 다시 추출)
(복원추출이라 뽑은 데이터를 다른 부분집합에서 또 추출-중복 될 수 있음)
(샘플링은 뽑기만 하기 때문에 중복이 불가)
베깅
Bootstrap AggreGation (부트스트랩 연산의 집합) :
전체 데이터를 부트스트랩하여 n개의 부분집합을 추출
하나의 모델로 각 n개의 부분집합을 따로 학습
하나의 모델로 weight가 다른 n개의 모델 생성
n개의 모델에서 뽑은 n개의 predict를 투표voting하여 최종 예측
( 앙상블 : 같은 데이터 다른 모델 / 베깅 : 다른 데이터 한 모델 )
베깅 - OOB error estimation
(Out-of-bag Error) : 임의로 복원추출하기 때문에 학습에 쓰이지 않은 데이터가 존재한다
그 데이터로 성능을 측정하여 모델의 성능을 측정하는 것
(즉 일종의 벨리데이션 셋을 활용하는 것)
BABY