매개변수

내부 매개변수 혹은 가중치

• 신경망의 경우 쎼타로 표기
• 학습 알고리즘이 최적화함

하이퍼 매개변수

• 모델의 외부에서 모델의 동작을 조정
  (러닝레이트, 은닉층 개수, 커널크기, 보폭 등)

하이퍼 매개변수 선택

• 표준 참고 문헌이 제시하는 기본값 사용
• 후보가 제시돼있다면 돌려보고 최적인 값 선택

격자 탐색과 임의 탐색

• 변수들의 경우의 순을 격자형태로 탐색하는 격자 탐색
• 아무거나 임의로 선택해나가는 임의탐색

로그 공간 간격으로 탐색

• 어떤 하이퍼 매개변수는 로그 공간을 사용해야 함
• 1~10까지 10가지로 탐색하는것이 아니라 2배수, 3배수 이런식으로 진행해야 하는 하이퍼파라미터들도 있음

차원의 저주 문제 발생

• 매개변수가 m개이고 각각이 q개 구간이라면 q의m승개의 점을 조사해야함

임의 탐색의 우월성

• 임의 탐색이 좀 더 넓은 임의의 영역에서 좋은 수치를 찾을 수 있음
• 단위를 크게 탐색햇다가 세밀해지는 파인서치로 진행