Batch Normalization

220914 작성

 

 

 

😎 Batch Normalization

• Batch 단위로 한 레이어에 입력으로 들어오는 모든 값들을 이용해서 평균과 분산을 구함
• feature element별로(차원별로) 평균과 분산을 구함
  • 반대로, Conv Layer은 Activation map(채널, Depth)마다 평균과 분산을 하나만 구함 
  • -> 데이터의 '공간적 구조(Spatial Structure)'가 잘 유지되기를 바람
  • -> So, CNN Activation Map을 normalize 할 때는 전체 map의 평균과 분산을 같이 구함
• 평균과 분산값을 이용해 Normalization 
• Batch Norm은 미분이 가능
• 순서
  • Convolution - Batch Normalization - Activation - Dropout - Pooling

https://subscription.packtpub.com/book/data/9781788392303/4/ch04lvl1sec32/resnet-architecture