Pytorch学习记录（十）：数据预处理+Batch Normalization批处理（BN）

数据预处理

目前数据预处理最常见的方法就是中心化和标准化，中心化相当于修正数据的中心位置，实现方法非常简单，就是在每个特征维度上减去对应的均值，最后得到 0 均值（）像素范围在[-128,127]，以0为中心的特征。标准化也非常简单，在数据变成 0 均值之后，为了使得不同的特征维度有着相同的规模，可以除以标准差近似为一个标准正态分布，也可以依据最大值和最小值将其转化为 -1 ~ 1 之间。

Batch Normalization批处理（BN）

批标准化，简而言之，就是对于每一层网络的输出，对其做一个归一化，使其服从标准的正态分布，这样后一层网络的输入也是一个标准的正态分布，所以能够比较好的进行训练，加快收敛速度。

第一行和第二行是计算出一个 batch 中数据的均值和方差，接着使用第三个公式对 batch 中的每个数据点做标准化， 𝜖 是为了计算稳定引入的一个小的常数，通常取 10−5 ，最后利用权重修正得到最后的输出结果，非常的简单，下面我们可以实现一下简单的一维的情况，也就是神经网络中的情况
https://www.cnblogs.com/yongjieShi/p/9332655.html

https://zhuanlan.zhihu.com/p/69431151

nn.BatchNorm2d

from torch import nn
import torch

m = nn.BatchNorm2d(3)  # bn设置的参数实际上是channel的参数
input = torch.randn(4, 3, 2, 2)
output = m(input)