๐ ๊ณต๋ถํ๋ ์ง์ง์ํ์นด๋ ์ฒ์์ด์ง?
Batch Normalization ๋ณธ๋ฌธ
728x90
๋ฐ์ํ
220914 ์์ฑ
๐ Batch Normalization
- Batch ๋จ์๋ก ํ ๋ ์ด์ด์ ์ ๋ ฅ์ผ๋ก ๋ค์ด์ค๋ ๋ชจ๋ ๊ฐ๋ค์ ์ด์ฉํด์ ํ๊ท ๊ณผ ๋ถ์ฐ์ ๊ตฌํจ
- feature element๋ณ๋ก(์ฐจ์๋ณ๋ก) ํ๊ท ๊ณผ ๋ถ์ฐ์ ๊ตฌํจ
- ๋ฐ๋๋ก, Conv Layer์ Activation map(์ฑ๋, Depth)๋ง๋ค ํ๊ท ๊ณผ ๋ถ์ฐ์ ํ๋๋ง ๊ตฌํจ
- -> ๋ฐ์ดํฐ์ '๊ณต๊ฐ์ ๊ตฌ์กฐ(Spatial Structure)'๊ฐ ์ ์ ์ง๋๊ธฐ๋ฅผ ๋ฐ๋
- -> So, CNN Activation Map์ normalize ํ ๋๋ ์ ์ฒด map์ ํ๊ท ๊ณผ ๋ถ์ฐ์ ๊ฐ์ด ๊ตฌํจ
- ํ๊ท ๊ณผ ๋ถ์ฐ๊ฐ์ ์ด์ฉํด Normalization
- Batch Norm์ ๋ฏธ๋ถ์ด ๊ฐ๋ฅ
- ์์
- Convolution - Batch Normalization - Activation - Dropout - Pooling
728x90
๋ฐ์ํ
'๐ฉโ๐ป ์ธ๊ณต์ง๋ฅ (ML & DL) > ML & DL' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
2. NLTK๋ก ๋ฌธ์ ๊ฐ ์ ์ฌ๋ ์ธก์ ํ๊ธฐ โ์ด ์์ค์ ์์์๋ ๋๊ตฌ์ผ๊นโ (0) | 2022.10.17 |
---|---|
Model(), compile(), fit(), predict(), save() (0) | 2022.09.14 |
ํ์ดํผํ๋ผ๋ฏธํฐ Learning rate & batch size & iteration ์ต์ ํ (0) | 2022.09.05 |
[Mask R-CNN] ์ดํด ๋ฐ ํ์ต (0) | 2022.05.10 |
[Deep Learning]_7_์ ํ ๋์ ๊ธฐ์ด (3) (0) | 2022.03.02 |
Comments