一、写在前面

最近在看图像正则化相关文章的时候，常常被矩阵求导弄得一头雾水。在B站发现一个宝藏up主空狐公子，非常的硬核。

矩阵求导讲解的非常好，逻辑清楚，层层递进，很有帮助。本文做一个简单的记录，方便以后查阅回顾。求大家三连支持up。传送门：空狐公子

计量经济学入门专题2——矩阵求导（分母布局）【上】
计量经济学入门专题2——矩阵求导（分母布局）【中】
计量经济学入门专题2——矩阵求导（分母布局）【下】，欢迎大家去原视频学习，去支持一下up。

二、矩阵求导（分母布局）【上】

1、矩阵求导的本质

复习：标量函数与向量函数

2、以分母布局为例的矩阵求导的基本原则

标记说明

f在分子的位置，x在分母的位置，是为了定义位置的概念。

原则1

f是标量函数
x是p×1的列向量

分子的位置是f，分母的位置是列向量

同理，行向量的情况：

总结：分子部分是标量函数，分母部分是向量形式，结果与分母部分形式保持一致。

原则2

分子位置 : f:列向量
分母位置 : x:标量

定义，f对x求导的结果写成行向量的形式，分子部分是列向量，分母部分是标量形式，最后的结果写成分子形式的转置

分子m×1的列向量，求导的结果写成1×m的行向量的形式。也可以理解为f先转置，再对x求导

扩展

分子：f m×1的列向量
分母：x m×1的列向量

f对x求导：首先用原则1，分母是列向量，结果写成列向量的形式

再用原则2去展开：

这样，列向量对列向量求导就可以写成矩阵的形式。

三、矩阵求导（分母布局）【中】

3、示例

例1

解

可以看出分子f(x)是标量形式，分母部分是p×1的列向量，运用原则1，结果形成列向量的形式（p行）

分子矩阵中每个元素（1×1）分别对分母矩阵中每个元素（p×1）分别进行求导

公式1

标量的转置是其本身，可以得到：

由原则1，结果与分母部分形式一样，必须为列向量的形式，不能是行向量。

例2

解

f(x)是标量函数，对x求导，x是列向量的形式，结果也为列向量的形式

f(x)对x中每个元素求导

复习（求导乘法运算）

对x1求导，i=1或者j=1时f(x)包含x1项,

可以拆解成两个列向量相加的形式：

上式中列向量中每个元素都是求和的形式，可以改写成行向量与列向量的乘积的形式

公式2

这里做一个维度的验证，f(x)是一个标量，x是一个列向量，由原则1，最后的结果也要是一个列向量。

满足要求

4、最小二乘估计

复习

对S^(b)化简：
注意：上式③式前面为+号
S^(b)对b求导，变成①、②、③三个部分对b求导

第一部分

Y转置×Y与b没有关系，结果为0（p×1的列向量的形式）

第二部分

第三部分

求导结果

四、矩阵求导（分母布局）【下】

5、有用的公式

①A是行向量，x列向量

②U是关于x的列向量(p×1)，V也是关于x列向量(p×1)，x也是列向量(m×1)

下面的乘为矩阵乘

维度上验证：

③续上

6、一些说明

①分子布局、混合布局

分子布局即求导结果与分子形式保持一致，通常情况下分母布局与分子布局差一个转置（不是绝对）

② 布局没有优劣之分，适合的最好，保持计算的连续性

③ 导数矩阵的维度来判断别人的布局

up推荐参考文献
zdaiot博客：https://www.zdaiot.com/Math/%E7%9F%A9%E9%98%B5%E6%B1%82%E5%AF%BC%E6%B3%95%E5%88%99%E4%B8%8E%E6%80%A7%E8%B4%A8/
维基百科（矩阵求导）：https://en.wikipedia.org/wiki/Matrix_calculus
Po-chen Wu ppt:http://media.ee.ntu.edu.tw/personal/pcwu/tutorials/matrix_calculus.pdf
吴昌悫, 魏洪增. 矩阵理论与方法【J】. M]. 北京: 电子工业出版社, 2006.

感谢up，完结撒花*,°:.*(￣▽￣)/$:.°* 。