AI

batch size & epoch & iteration

inthyes 2023. 10. 20. 17:56

사전적 의미

batch

  • (일괄적으로 처리되는) 집단, 무리
  • 한 회분(한 번에 만들어 내는 음식기계 등의 양)
  • (일괄 처리를 위해)함께 묶다

epoch

  • (중요한 사건 / 변화들이 일어난) 시대 (=era)

iteration

  • (계산,컴퓨터 처리 절차의) 반복

batch size

  • 전체 트레이닝 데이터 셋을 여러 작은 그룹을 나누었을 때 batch size는 하나의 소그룹에 속하는 데이터 수를 의미
  • 전체 트레이닝 셋을 작게 나누는 이유 : 트레이닝 데이터를 통째로 신경망에 넣으면 비효율적인 리소스 사용으로 학습 시간이 오래 걸림

epoch

  • 딥러닝에서의 epoch : 전체 트레이닝 셋이 신경망을 통과한 횟수
  • ex) 1-epoch는 전체 트레이닝 셋이 하나의 신경망에 적용되어 순전파와 역전파를 통해 신경망을 한 번 통과했다는 것을 의미함

iteration

  • 1-epoch를 마치는데 필요한 미니배치 갯수 == 1-epoch를 마치는데 필요한 파라미터 업데이트 횟수

'AI' 카테고리의 다른 글

Regression vs Classification  (0) 2024.01.04
train & test & validation data set  (1) 2023.10.21
K-Fold Cross Validation  (0) 2023.10.20
ROC curve  (0) 2023.10.20
Loss Function  (0) 2023.10.20