하이퍼파라미터 Learning rate & batch size & iteration 최적화

220905 작성

<본 블로그는 inhovation97 님의 블로그를 참고해서 공부하며 작성하였습니다 :-) >

https://inhovation97.tistory.com/32

Learning rate & batch size best 조합 찾기 (feat.논문리뷰와 실험결과)

https://www.slideshare.net/w0ong/ss-82372826

텐서플로우로 배우는 딥러닝

 

 

 

 

😎 Learing rate

• 현재점에서 다음점으로 얼만큼 이동할지, 다르게 말하면 모델이 얼마나 세세하게 학습을 할지

 

▶ Learing rate 클 때

• 한 번의 step에서 파라미터 학습이 크게 진행되기 때문에 보폭이 커진다
• 🔵 보폭이 크기 때문에 좀 더 빨리 수렴이 가능하며, local minima로 빠질 위험은 적다
• 🔴 너무 크면 오버슛이 심하게 일어나 loss가 전혀 줄지 않을 수 있다 => 수렴하지 않는 것

 

▶ Learing rate 작을 때

• learning rate가 작으면, step 보폭이 작아 조금씩 학습함
• 🔵 보폭이 작기 때문에 오버슛이 생기지 않음
• 🔴 작은 보폭 때문에 local minima에 빠질 위험이 있음

 

 

😎 Batch size

• 데이터 셋을 쪼갤 크기

 

▶ batch size가 클 때

• batch size가 크면, 한 번 학습할 때 많은 데이터로 학습을 하게 됨
• 🔵 학습이 빠르며 어느정도 수준까지 수렴이 매우 빠름 -> local optima에 빠질 확률이 작음
• 🔴 작은 배치보다 과적합의 위험이 있음 -> batch가 크면 계산되는 loss값의 편차가 작음
• 🔴 너무 크면 한 번에 처리할 양이 많아지므로 속도가 느려지고 메모리가 부족

 

▶ batch size가 작을 때

• 1 epoch 당 iteration이 크기 때문에 step이 많아짐
• 🔵 작은 배치는 작은 데이터로 학습하므로 loss의 분산이 커서 (한 번에 계산하는 데이터 양이 작음) regularize 효과가 있음 -> 조금 더 세세하게 학습이 됨
• 🔴 step이 많아 local minima로 빠질 수 있음
• 🔴 학습 시간이 오래걸림
• 🔴 너무 작으면 업데이트가 지나치게 자주 일어나 훈련이 불안정

 

😎 1 Epoch

• 전체 데이터 셋을 한 번 학습하는 것
• 전체 데이터 셋이 하나의 모델에서 Forwarding, Backwarding을 한 번 수행한 것
• 🔵 Epoch을 높이게 되면 여러 무작위 가중치를 통해서 학습을 수행하기 때문에 적절한 값을 찾을 확률이 높아짐
• 🔴 지나치게 높은 Epoch은 Overfitting의 원인이 됨

 

 

😎 Iteration

• 하나의 minibatch를 학습하는 것
• 각 batch마다 파라미터 업데이트가 이루어지기 때문에 iteration은 파라미터 업데이트 횟수이자 전체 데이터의 총 배치의 수가 됨