batch vs mini-batch
- batch
- 새로운 데이터 in 시 처음부터 전체 다시 훈련
- mini-batch
- 데이터를 순차적으로 한 개씩 혹은 작은 묶음 단위로 주입하여 시스템 훈련(incremental leraning)
learning-rate 학습률
데이터에 얼마나 빠르게 적응할 것인지에 대한 중요 파라미터
- lr을 높일 시: 시스템이 데이터에 빠르게 적응하지만 이전의 데이터에 대해 빨리 잊음
- lr을 낮출 시: 학습이 느려지는 단점이 있지만 새로운 데이터의 noise나 대표성이 부족한 data point 에 덜 민감해진
달려가는중