当前位置：网站首页>CV复习：BatchNorm

CV复习：BatchNorm

2022-08-09 14:52:00 【pomelo33】

BatchNorm的原理

本部分主要结合原论文部分，排除一些复杂的数学公式，对BatchNorm的原理做尽可能详细的解释之前就说过，为了减小Internal Covariate Shift，对神经网络的每一层做归一化不就可以了，假设将每一层输出后的数据都归一化到0均值，1方差，满足正太分布，但是，此时有一个问题，每一层的数据分布都是标准正态分布，导致其完全学习不到输入数据的特征，因为，费劲心思学习到的特征分布被归一化了，因此，直接对每一层做归一化显然是不合理的。

因此，BatchNorm在对数据归一化之后加入了可训练的参数。

这里写图片描述

接下来详细介绍一下这额外的两个参数，之前也说过如果直接做归一化不做其他处理，神经网络是学不到任何东西的，但是加入这两个参数后，事情就不一样了，先考虑特殊情况下，如果 γ \gamma

原网站

版权声明
本文为[pomelo33]所创，转载请带上原文链接，感谢
https://blog.csdn.net/he_pomelo/article/details/126071074

边栏推荐

猜你喜欢

随机推荐