当前位置：网站首页>李宏毅机器学习-- Backpropagation

李宏毅机器学习-- Backpropagation

2022-08-10 22:49:00 【snowflier】

目标：找出合适的参数组 $\bold\theta$

$x^n$ ： training data
$L(\theta)=\sum_{n=1}^Nl^n(\theta)$
在课程中，用的是 $C^n(\theta)$
对其做GD，从而搜索合适的参数
如何确定每一个距离对参数的偏导数？？
在这里插入图片描述
假设每一层结构如下；

可以直接计算z对每一个w参数的偏微分，即

在求解第二项，误差函数对z的偏微分时，继续利用chain rule，假设结构如下，用sigmoid function：

继续计算上图中的第二项，即误差函数对于a的偏微分
假定后续的结构如下图：
在这里插入图片描述
继续利用求导的相关法则，从图中看出，第一层得到的a会影响下一层中的 $z^{'}$ 以及 $z^{''}$ ,，根据图中，因此可以得到 $z^{'}$ 的计算式，可得到

将上面的表达式画成一个神经元的图示，此时的输入是 $z^{'}$ 以及 $z^{''}$ ，输出是z，则图示如下
在这里插入图片描述
说明：上图来自上课的截图，图中的C就是误差，和前面的l是一样的
这一点就是BP的核心了。