주요 개념

• Validatio Set: 하이퍼파라미터 튜닝을 위해 모델을 평가할 때, 테스트 세트를 사용하지 않기 위해 훈련 세트에서 다시 떼어 낸 데이터 세트

• Cross Validation: 훈련 세트를 여러 폴드로 나눈 다음 한 폴드가 검증 세트의 역할을 하고 나머지 폴드에서는 모델을 훈련, 이런식으로 모든 폴드에 대해 검증 점수를 얻어 평균하는 방법

• Grid Search: 하이퍼파라미터 탐색을 자동화해주는 도구, 탐색할 매개변수를 나열하면 교차 검증을 수행하여 가장 좋은 검증 점수의 매개변수 조합을 선택, 마지막으로 이 매개변수 조합으로 최종 모델 훈련

• Random Search: 연속된 매개변수 값을 탐색할 때 유용, 탐색할 값을 직접 나열하는 것이 아니라 탐색값을 샘플링 할 수 있는 확률 분포 객체를 전달, 지정된 횟수만큼 샘플링하여 교차 검증을 수행하기에 시스템 자원이 허락하는 만큼 탐색량 조절 가능

Cross validation

• 검증 세트를 떼어 내어 평가하는 과정을 여러번 반복하고 이 점수를 평균내어 최종 검증 점수를 얻음

• 평가할 모델 객체를 첫번째 매개변수로 전달하고 훈련세트 전체를 함수에 전달함

GridSearchCV

• 하이퍼파라미터 탐색과 교차 검증을 한번에 수행함

Random Search

• 매개변수 값의 목록을 전달하는 것이 아니라 매개변수를 샘플링 할 수 있는 확률분포 객체를 전달

colab 링크: https://colab.research.google.com/drive/1GxoSFe2qTJNKDAkrRu8CCF4YoMDnyoJy?usp=sharing

참고: 혼자 공부하는 머신러닝+딥러닝