# hyperparameter tuning

kimjo

✔ HyperOpt HyperOpt는 이전 포스팅에서 설명한 Bayesian Optimization의 접근 방식을 취한다. 그럼, HyperOpt를 이용한 Hyperparameter Tuning 과정을 실습을 통해 알아보겠다. HyperOpt 설치 먼저, HyperOpt를 설치해보겠다. 다음의 명령어로 설치할 수 있다. > pip install hyperopt 실습을 위한 데이터 로드 실습을 위해 Boston 주택 가격 데이터를 로드하였다. 평가 함수 정의 (RMSE) 모델의 평가 함수를 정의함. Regression 예측을 하기에, RMSE를 평가 지표로 사용 HyperOpt를 활용한 XGBoost 튜닝 예제 space 변수에는 d

kimjo

✔ Hyperparameter Tuning 의 종류 Bayesian Optimization 정의 목적함수(loss, accuracy 등 구하고자 하는 지표)를 최대 또는 최소로 하는 최적해를 찾는 방법 목표 입력값 $x$ 를 받는 미지의 목적함수 f를 가정하여, 함숫값 $f(x)$ 를 최대로 만드는 최적해 $x^*$ 를 찾는 것이다. 보통은, 목적 함수의 표현식을 명시적으로 알지 못함 (i.e. black-box function) 또한, 함숫값 $f(x)$ 를 계산하는 데에 오랜 시간이 소요되는 경우를 가정 이러한 상황에서, 가능한 적은 수의 입력값 후보들에 대해서만 함숫값을 조사하여, $f(x)$ 를 최대로 만드는 최적해 $x^*$를 찾는 것이 주요 목표이다. 필수 요소 <span style="c

kimjo

✔ Hyperparameter vs Parameter Hyperparameter : 모델링 시 사용자가 직접 새팅해주는 값 ex) learning rate, maxdepth, nestimators 등 Parameter : 모델 내부에서 결정되는 변수 ex) 정규분포의 평균, 표준편차 등 Hyperparameter와 Parameter를 구분하는 기준은 사용자가 직접 설정하느냐 아니냐이다. ✔ Hyperparameter Tuning Hyperparameter Tuning 정의 Hyperparameter optimization 이라고도 함. 모델을 최적화하기 위해 Hyperparameter를 조정하는 과정 train/test 데이터로 분할 후, trian 데이터를 이용한 교차 검증을 통해, 선정한 Hyperparameter 조합의 결과를 비교하여 최적의 Hyperparameter를 찾아낸다. Hyperpara

happyyeon

Decision Tree 기본 하이퍼파라미터 출력 > 결정 트리 예측 정확도: 0.8548 DecisionTreeClassifier 기본 하이퍼 파라미터: {'ccpalpha': 0.0, 'classweight': None, 'criterion': 'gini', 'maxdepth': None, 'maxfeatures': None, 'maxleafnodes': None, 'minimpuritydecrease': 0.0, 'minsamplesleaf': 1, 'minsamplessplit': 2, 'minweightfractionleaf': 0.0, 'randomstate': 156, 'splitter': 'best'} 하이퍼파라미터 튜닝 > Fitting 5 folds for each of 7 candidates, totalling 35 fits GridSearchCV 최고 평균 정확도 수치:0.8513 GridSearch

jbro321

Hyperparameter Tuning Neural Networks 1. 👉 과정 한눈에 보기

naem1023

Hyperparameter tuning Hyperparameter 개발자가 수동으로 정해야하는 값들 learning rate size of model optimizer의 종류 epoch etc... 개요 모델, 데이터, hyper paramter 중에서 hyper parameter의 수치는 중요도가 가장 떨어진다. 모델이 가장 중요하지만 보통 좋은 모델들은 널리 알려져있다. 따라서 데이터를 가장 중요시한다. hyperparameter에 너무 힘쓰진 말자. 그럼에도 마지막 0.01 단위의 성능 향상을 위한다면 반드시 수행해야될 것! 최근에는 AutoML 계열의 NAS model의 경우, 자동으로 hyperparameter tuning도 수행해준다고 한다. recipe: hyperparameter를 어떻게 튜닝할지 미리 모델에서 결정해주는 것 방법 grid: 일정한 간격을 두고 수치 탐색 random: