모델 파라미터 batch, epoch, learning rate란?

batch_size : 매 훈련 단계마다 학습할 데이터의 크기를 결정

epoch : 배치 사이즈로 분할된 훈련 데이터 전체를 1회 학습하는 횟수를 몇 번 반복할지

learning rate : 모델의 weight이 업데이트 될 때마다 예상 오류에 대한 응답으로 모델을 조정

 

 

🐇 Learning rate 클 때

• 한 번의 step에서 학습이 크게 진행
• 보폭이 크기 때문에 좀 더 빨리 수렴
• 오버슛이 심하게 일어나 loss가 전혀 줄지 않음

 

 

🐇 Learning rate 작을 때

• step 보폭이 작아 조금씩 학습
• 작은 보폭 때문에 local minima에 빠짐

 

 

 

 🦞 batch_size 클 때

• 한 번 학습할 때 많은 데이터로 학습
• batch가 크면 계산되는 loss값의 편차가 작아 과적합 위험

 

 

 🦞 batch_size 작을 때

• 작은 배치는 작은 데이터로 학습하므로 loss의 분산이 커서 regularize 효과학습 시간이 오래 걸림
• step이 많아 local minima 위험