当前位置：网站首页>数学基础（二）逆矩阵、伪逆矩阵、最小二乘解、最小范数解

数学基础（二）逆矩阵、伪逆矩阵、最小二乘解、最小范数解

2022-08-08 08:00:00 【Billie使劲学】

举一个多元线性回归的例子：

假设 x_1,x_2,...,x_N 都为n维的行向量，N表示样本个数，y为实数。

则得到到，其中， $x_{1n}$ 为向量 x_1 中的n个值； a_1,a_2,a_3,...,a_n 就是要估计的参数。

将上式写成矩阵的形式就是

我们的目的就是要解出参数a的列向量，则通过下式即可解出a向量。

但是通常情况下样本量N并不等于每个样本的维度n， $N\neq n$

则求 Xa-Y 的最小值

对a求偏导，导数等于0处去最小值

【置于为什么求偏导后的式子是这样的，我放到了最后说明，该结论记住即可】

移项得

那么 X^TX 是否可逆呢？如果可逆，就可以通过 $a=(X^TX)^{-1}(X^TY)$ 求得a向量。

下面判断 X^TX 是否可逆，当 $N\neq n$ 时，有两种情况，N>n 和 N<n。

①N>n

其中， $X_{5\times 3}$ ， $X^T_{3\times 5}$ ，则 $X^TX_{3\times 3}$

这个就是伪逆矩阵，当X可逆时，它就是逆矩阵。

伪逆矩阵对应的解法叫做最小二乘解。

②N<n

其中， $X_{3\times 5}$ ， $X^T_{5\times 3}$ ，则 $X^TX_{5\times 5}$

注意：

此时 X^TX 不可逆该怎么办呢？

我们就需要在后面加入一个正则项。

为什么要加入正则项呢？针对N<n，样本量不足，属于过拟合现象，针对过拟合问题，我们就会对代价函数加入正则项来缓解过拟合。（加入正则项求的解叫做最小范数解）

对a求偏导得到

移项：

为什么 $(X^TX+\lambda I)$ 必为可逆呢？ $\lambda I$ 肯定是可逆的，故加上 X^TX （半正定矩阵，上一章证明过）也是可逆的。

证明一下：

其中 a^T,a 是试探向量，故 a^Ta> 0 ，所以2式为是正定的，非半正定。

这个公式叫做岭回归，在对角线上加入了 λ，就像山岭一样。

对矩阵求偏导：

更多请参考：矩阵求导、几种重要的矩阵及常用的矩阵求导公式_~青萍之末~的博客-CSDN博客_矩阵求导公式大全

版权声明
本文为[Billie使劲学]所创，转载请带上原文链接，感谢
https://blog.csdn.net/m0_45447650/article/details/126211743

边栏推荐

猜你喜欢