Basic Recipe for ML
ML을 학습시킬 때 다음과 같은 순서로 진행할 수 있다.
1. 학습을 시킨다.
2. 편향이 높은지를 확인한다.
2-1. 편향이 높다면 더 높은 네트워크를 사용하거나 오래 학습시켜서 잘 학습시켜지거나 최소한 오버피팅이 되도록 위 과정을 반복한다.
3. 편향이 높지 않다면 variance가 높은지 확인한다.
3-1. 분산이 높다면 더 많은 데이터를 이용하여 훈련을 진행하거나 모델을 regulization 한다.
4. variance, bias가 둘다 높지 않다면 학습을 마친다.
bias and variance trade-off
이전의 ML 학습은 trade-off 에 대해서 많이 논의했다. 하지만 데이터의 수가 많아지고 모델의 네트워크가 점점 깊어지면서 둘 중 하나만 선택하는 것이 아닌 bias나 variance를 유지하면서 다른 하나를 낮출 수 있다.
연수돼지