[딥러닝] epoch, batch size, iteration

cybergangster·2022년 7월 6일
0

Deep Learning

목록 보기
2/2
post-thumbnail

입사 테스트 시험 문제로 batch size가 나왔다. 딥페이크로 졸업 프로젝트 할 때랑, 작년에 실험 계획서+실험 준비할 때가 생각났다. 얕고 넓은 내 지식... 자꾸 헷갈려-_- 잘 정리해주신 분 꺼 보고 기록해두기.

[epoch] : 전체 트레이닝셋이 신경망을 통과한 횟수 ex) 1 에폭은 트레이닝셋이 하나의 신경망에 적용되어 순전파와 역전파를 통해 신경망을 한번 통과했다는 것을 의미

[batch_size] : 전체 트레이닝 데이터셋을 여러 작은 그룹으로 나눴을 때 하나의 소그룹에 속하는 데이터 수
> 전체 트레이닝셋을 작게 나누는 이유는 트레이닝 데이터를 통째로 신경망에 넣으면 비효율적인 리소스 사용으로 학습 시간이 오래걸리기 때문

[iteration] : 1 에폭을 마치는데 필요한 미니배치 개수, (1 에폭을 마치는데 필요한 파라미터 업데이트 횟수) 각 미니배치 마다 파라미터 업데이트가 한번씩 진행되므로 iteration은 파라미터 업데이트 횟수이자 미니배치 개수

전체 2000개의 데이터가 있고, epoch=20, batch_size=500이라고 가정.
>>> 1 epoch = batch_size(500), iteration(4)
>>> 1 에폭은 사이즈가 500인 배치사이즈가 들어간 4번의 아이터레이션


0개의 댓글