1.范数的概念
参考:https://blog.csdn.net/a6333230/article/details/87860875
范数(norm)主要是对矩阵和向量的一种描述。
矩阵范数:描述矩阵引起变化的大小,AX=B,矩阵X变化了A个量级,然后成为了B。
向量范数:描述向量在空间中的大小。可以描述两个量之间的距离关系。
在机器学习中我们会见到||X||,X是向量。表示向量空间中距离的变化。
2.L-p范数
向量范数的通用公式为L-P范数:
(1)p = 0
L-0范数:用来统计向量中非零元素的个数。
(2)p = 1
L-1范数:向量中所有元素的绝对值之和。可用于优化中去除没有取值的信息,又称稀疏规则算子。
(3)p = 2
L-2范数:典型应用——欧式距离。可用于优化正则化项,避免过拟合。
参考资料:https://zhuanlan.zhihu.com/p/26884695