# randomized search
파라미터 수정 방법 3가지
1. Grid Search 매개변수 그리드에서 가능한 모든 조합을 시도하여 최적의 매개변수를 찾아냄. 직관적이고 이해하기 쉽지만, 가능한 모든 매개변수 조합을 탐색하므로 계산 비용이 매우 높을 수 있다. 모든 조합을 탐색하기 때문에 정확한 최적의 매개변수를 찾아낼 수 있다. 2. Randomized Search 임의의 하이퍼파라미터 조합을 시도함. Grid Search 방법에 비해 계산 비용을 줄일 수 있음. 하지만 매개변수 공간의 일부를 평가하지 않을 수 있기 때문에, 최적의 매개변수를 찾을 가능성이 높지 않다. 3. Bayesian Optimization 함수 값(모델 성능)이 일정한 범위 내에서 부드럽고 연속적으로 변화하는 경우에 사용하는 방법 함수의 범위를 베이지안 통계 모델로 모델링하여 최적의 하이퍼파라미터 조합을 찾아낸다. 계산 비용이 높지만 Randomized Search보다 더 효율적으로 최적의 하이퍼파라미터를
Model Selection
학습내용 RandomizedSearchCV 파라미터들의 범위를 지정하여 설정하고 랜덤으로 조합하여 그 중 최선의 파라미터 조합을 선정해주는 방법 최적 파라미터의 범위를 잘 모를때 사용하며, 일반적으로 많이 쓰인다. GridSearchCV 설정한 모든 가능한 파라미터 조합을 다 시험해보는 방법. 도메인 지식이 어느정도있어 최적 파라미터가 대략적으로 위치하는 범위를 알때 사용하기 좋음. Target encoder 해당 feature의 범주마다 target값의 평균으로 인코딩하는 방식. smoothing은 범주마다 평균에서 떨어지는 정도를 나타내는 것이라고 생각하면됨.