# Bayesian Optimization

qew8502

이번 포스팅은 "1부. 머신러닝 레벨업의 지름길. 캐글" 파트에서 "04장. 데이터를 한눈에: 주요 시각화 그래프"를 알아보는 파트의 정리를 마치고, 2부로 들어가 본격적으로 06장부터 진행되는 머신러닝 경진대회를 진행하기 전에, "05장. 다시 살펴보는 머신러닝 주요 개념" 파트에서 하이퍼파라미터 최적화 부분의 "베이지안 최적회" 파트의 내용을 간단하게 정리하고 넘어가겠다. >평소 하이퍼파라미터 최적화 기법인 "그리드 서치"나 "랜덤 서치"는 사용해 보았지만, 베이지안 최적화 기법은 구현해보거나 관련 라이브러리를 사용해본 적이 없어 이번 포스팅에서 경험하고 본격적인 경진대회 포스팅으로 넘어가려고 한다. 베이지안 최적화(Bayesian Optimization) >What is Bayesian Optimzation? "베이지안 최적화(baysian optimization)" 사전 정보를 바탕으로 최적 하이퍼파라미터 값을 확률적으

yoonji

1. Grid Search 매개변수 그리드에서 가능한 모든 조합을 시도하여 최적의 매개변수를 찾아냄. 직관적이고 이해하기 쉽지만, 가능한 모든 매개변수 조합을 탐색하므로 계산 비용이 매우 높을 수 있다. 모든 조합을 탐색하기 때문에 정확한 최적의 매개변수를 찾아낼 수 있다. 2. Randomized Search 임의의 하이퍼파라미터 조합을 시도함. Grid Search 방법에 비해 계산 비용을 줄일 수 있음. 하지만 매개변수 공간의 일부를 평가하지 않을 수 있기 때문에, 최적의 매개변수를 찾을 가능성이 높지 않다. 3. Bayesian Optimization 함수 값(모델 성능)이 일정한 범위 내에서 부드럽고 연속적으로 변화하는 경우에 사용하는 방법 함수의 범위를 베이지안 통계 모델로 모델링하여 최적의 하이퍼파라미터 조합을 찾아낸다. 계산 비용이 높지만 Randomized Search보다 더 효율적으로 최적의 하이퍼파라미터를

kimjo

✔ HyperOpt HyperOpt는 이전 포스팅에서 설명한 Bayesian Optimization의 접근 방식을 취한다. 그럼, HyperOpt를 이용한 Hyperparameter Tuning 과정을 실습을 통해 알아보겠다. HyperOpt 설치 먼저, HyperOpt를 설치해보겠다. 다음의 명령어로 설치할 수 있다. > pip install hyperopt 실습을 위한 데이터 로드 실습을 위해 Boston 주택 가격 데이터를 로드하였다. 평가 함수 정의 (RMSE) 모델의 평가 함수를 정의함. Regression 예측을 하기에, RMSE를 평가 지표로 사용 HyperOpt를 활용한 XGBoost 튜닝 예제 space 변수에는 d

kimjo

✔ Hyperparameter Tuning 의 종류 Bayesian Optimization 정의 목적함수(loss, accuracy 등 구하고자 하는 지표)를 최대 또는 최소로 하는 최적해를 찾는 방법 목표 입력값 $x$ 를 받는 미지의 목적함수 f를 가정하여, 함숫값 $f(x)$ 를 최대로 만드는 최적해 $x^*$ 를 찾는 것이다. 보통은, 목적 함수의 표현식을 명시적으로 알지 못함 (i.e. black-box function) 또한, 함숫값 $f(x)$ 를 계산하는 데에 오랜 시간이 소요되는 경우를 가정 이러한 상황에서, 가능한 적은 수의 입력값 후보들에 대해서만 함숫값을 조사하여, $f(x)$ 를 최대로 만드는 최적해 $x^*$를 찾는 것이 주요 목표이다. 필수 요소 <span style="c

hajeongjj

model_tuning from sklearn.model_selection import GridSearchCV from sklearn.model_selection import RandomizedSearchCV Bayesian Optimization Grid Search와 Random Search는 이전까지의 조사 과정에서 얻어진 hyperparameter 값들의 성능 결과에 대한 '사전 지식'이 전혀 반영되어 있지 않기 때문에 비효율적인 요소가 있음. 매 회 새로운 hyperparameter 값에 대한 조사를 수행할 시 '사전 지식'을 충분히 반영하면서, 동시에 전체적인 탐색 과정을 체계적으로 수행할 수 있는 방법이 Bayesian Optimization임. [https://github.