Machine-Learning model

Decistion Tree(결정 트리)

지도학습 중 하나이며 분류와 회귀 모두 사용 가능
지니 불순도를 이용해서 구함

Ensemble(앙상블)

머신러닝에서 여러 모델의 결과를 종합해서 더 좋은 성능을 내는 방법
1) Voting

• 기본 모델을 여러번 수행하여 이들을 평균하거나, 다수결 투표로 결과를 내는 방식
• 보팅은 서로 다른 종류의 기본 모델을 사용
• weak learner, basic model (기본 모델, 약한 학습기)
  ex)
  2) Bagging
  3) Boosting

Random Forest

배깅 방식의 앙상블 -> Decistion 모델을 생성해서 다수결 혹은 평균을 적용하여 이들을 조합한 모델입니다. 동일한 학습 데이터셋에서 각기 다른 feature 각기 다른 데이터 sample을 사용하여 여러개의 소규모 트리를 생성 후 조합합니다.
장점으로는 다수의 결정 트리 모델의 조합을 통해 과적합 방지
단점으로는 결과의 해석이 어려운 면이 있습니다.

Gradient Boosting

부스팅 방식에 속하는 앙상블 기법 , 약한 학습기를 순차적으로 학습시킴
random forest와 유사하게 다수의 결정 트리 모델을 생성한 후 이들을 조합,즉 앙상블 한 모델

두 모델의 차이점

1. random-forest는 약한 학습기인 각 트리를 독립적으로 한꺼번에 생성하는 데 반면 gradient boosting은 한번에 하나씩 트리를 생성합니다.
2. 실시간 성능 개선 가능

XGBoosting

Gradinet Boosting모델을 개량해서 만듬, 훨씬 좋은 performance , 병렬로인해서 빠른 학습

앙상블

LightGBM

xgboost는 양쪽으로 줄기가 뻗어 나가지만, lightgbm의 경우 한쪽의 줄기로만 뻗어 나감