[ML] Gradient Boosting Machine

[IDEA]

• 이전 모델이 만든 오차(residual)를 보완하는 방향으로 새로운 모델을 추가하여 점진적으로 성능을 향상

1. predicted value 계산 (평균 / log(odds))
2. residual 계산
3. Tree 생성

• 모든 변수에 대해 gradient를 기반으로 손실 감소량이 가장 큰 분기점 선택

4. leaf node의 residuals에 learning rate를 곱해서 predicted value 업데이트
5. 새로운 residual 계산하고 두 번째 tree 생성... (반복)