当前位置：网站首页>深度学习与图像识别:原理与实践笔记Day_14

深度学习与图像识别:原理与实践笔记Day_14

2022-04-21 13:47:00 【努力卷】

重要的优化方式——正则化惩罚

我们希望对一些特定的权重W添加一些偏好，对其他权重则不添加，以此来消除模糊性。即向损失函数增加一个正则化惩罚(regularization penalty)，最常用的正则化惩罚是L2范式，L2范式通过对所有参数进行逐元素的平方惩罚来抑制大数值的权重。

$R(W) = \sum_{k}\sum_{l}w^2_k,l$

假设输入向量x=[1,1,1,1].两个权重向量,w1=[1,0,0,0],w2=[0.25,0.25,0.25,0.25],那么 $w_1x^T=w_2x^T=1$ ,两个权重向量都得到了同样的内积，但是w2好一点，因为w1只关心第一个像素，不管其他像素是什么值。计算公式 $w_iw_i^T$ ，可以得到惩罚项，w1的L2惩罚是1.0，而w2的L2惩罚是0.25。因此w2更好一点。我们还需要定义一个超参数(lambda),其与学习率差不多，需要我们自己调整。超参数定义如下：