1. batch size란?
데이터를 모델에 입력하여 예측을 수행할 때, 일반적으로 한 번에 하나의 데이터 샘플을 처리하는 것보다 여러 개의 데이터 샘플을 함께 처리하는 것이 효율적입니다. 이때 한 번에 처리되는 데이터 샘플의 개수가 배치 크기입니다.
배치 크기를 선택하는 것은 학습 알고리즘의 성능과 학습 속도에 영향을 미칩니다. 작은 배치 크기를 사용하면 메모리 요구량이 줄어들고, 모델 파라미터 업데이트가 빈번하게 이루어져 더 정확한 예측 결과를 얻을 수 있습니다. 그러나 계산 비용이 많이 들고 학습 시간이 오래 걸릴 수 있습니다.
반대로 큰 배치 크기를 사용하면 계산 비용과 메모리 요구량이 줄어들지만, 예측 정확도가 약간 감소할 수 있습니다. 더불어 GPU와 같은 가속화 장치를 활용할 때에는 일정한 배치 크기가 필요하기도 합니다.
따라서 배치 크기는 주어진 하드웨어 자원과 모델 구조, 데이터셋의 특성 등을 고려하여 조절해야 합니다. 일반적으로 32, 64, 128 등 2의 거듭제곱으로 설정하는 경우가 많습니다.
2. batch size와 learning rate와의 관계
큰 배치 크기를 사용하면 보다 많은 데이터를 한 번에 처리할 수 있으므로 그레디언트(gradient)의 추정값이 더 정확해집니다. 이 경우 학습률을 상대적으로 크게 설정하는 것이 일반적입니다. 큰 배치 크기에서는 더 빠른 학습 속도와 최적화된 모델 파라미터 도달을 위해 상대적으로 큰 학습률을 선택할 수 있습니다.
따라서 배치 크기와 학습률 사이에는 특정한 관계가 없지만, 일반적으로 작은 배치 크기에서는 작은 학습률을, 그리고 큰 배치 크기에서는 상대적으로 큰 학습률을 선택하는 경향이 있습니다. 하지만 이러한 선택은 문제에 따라 다를 수 있으며, 최상의 조합을 찾으려면 실험과 검증 과정을 거쳐야합니다.
