30 范数

标签：机器学习与数据挖掘

1.p-范数

0范数，向量中非零元素的个数。
1范数，为绝对值之和。
2范数，就是通常意义上的模。

$$||{\mathbf{X}||}_{\text{p}}={\left(\sum _{\text{i}=1}^{\text{N}}|{\text{x}}_{\text{i}}{|}^{\text{p}}\right)}^{\frac{1}{\text{p}}}$$
  向量元素绝对值p次方的 $\frac{1}{p}$ 次幂。可以敏捷的发现，这个 p 和之前的 q 从是一个东西，**随着 p 越大，等高线图越接近正方形（正无穷范数）；越小，曲线弯曲越接近原点（负无穷范数）**而之前已经说明 q 的含义是一般化正则项的幂指数，也就是我们常说的 2-范数，两者在形式上是完全等同的。结合范数的定义，我们可以解释一般化正则项为一种对待求参数 w 的测度，可以用来限制模型不至于过于复杂。

2. -∞-范数

$$||{\mathbf{X}||}_{-\infty }=\text{arg}\underset{\text{i}}{\min }|{\text{x}}_{\text{i}}|$$
所有向量元素中绝对值的最小值。

3. 1-范数

$$||{\mathbf{X}||}_1=\sum _{\text{i}=1}^{\text{N}}|{\text{x}}_{\text{i}}|$$
向量元素绝对值之和，也称街区距离（city-block）
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dQlUf0Oj-1651113581759)(assets/1.svg)]

4. 2-范数

$$||{\mathbf{X}||}_2=\sqrt{\sum _{\text{i}=1}^{\text{N}}{\text{x}}_{\text{i}}^2}$$
向量元素的平方和再开方。Euclid范数，也称欧式距离。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cVKcbXRu-1651113581759)(assets/2.svg)]

5. ∞-范数

$$||{\mathbf{X}||}_{\infty }=\text{arg}\underset{i}{\max }|{\text{x}}_i|$$
所有向量元素中绝对值的最大值，也称棋盘距离（chessboard），切比雪夫距离
的[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zJJtUqJn-1651113581759)(assets/3.svg)]
的

6. 1-范数矩阵

$$||{\text{A||}}_1=arg\underset{1⩽j⩽n}{\max }\sum _{i=1}^m|a_{i,j}|$$
列和范数，即所有矩阵列向量绝对值之和的最大值

7. ∞-范数矩阵

$$||{\text{A||}}_{\infty }=arg\underset{1⩽j⩽n}{\max }\sum _{i=1}^m|a_{i,j}|$$
行和范数，即所有矩阵行向量绝对值之和的最大值，即所有矩阵行向量绝对值之和的最大值