正则化是一种为了减小测试误差的行为(有时候会增加训练误差)。我们在构造机器学习模型时，最终目的是让模型在面对新数据的时候，可以有很好的表现。当你用比较复杂的模型比如神经网络，去拟合数据时，很容易出现过拟合现象(训练集表现很好，测试集表现较差)，这会导致模型的泛化能力下降，这时候，我们就需要使用正则化，降低模型的复杂度。
对于向量 x = [ x 1 , x 2 , … , x m ] x=\left[x_{1}, x_{2}, \ldots, x_{m}\right] x=[x1,x2,…,xm]，常用的范数包括：
∥
x
∥
1
=
∑
i
=
1
m
∣
x
i
∣
\|x\|_ {1}=\sum_{i=1}^{m}\left|x_{i}\right|
∥x∥1=i=1∑m∣xi∣
即向量元素绝对值之和，
x
x
x到零点的曼哈顿距离。
∥
x
∥
1
=
∑
i
=
1
m
x
i
2
\|x\|_ {1}=\sqrt{\sum_{i=1}^{m} x_{i}^{2}}
∥x∥1=i=1∑mxi2
2-范数也称为Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，表示
x
x
x到零点的欧式距离。
∥
x
∥
p
=
(
∑
i
=
1
m
∣
x
i
∣
p
)
1
p
\|x\|_ {p}=\left(\sum_{i=1}^{m}\left|x_{i}\right|^{p}\right)^{\frac{1}{p}}
∥x∥p=(i=1∑m∣xi∣p)p1
即向量元素绝对值的p次方和的1/p次幂，表示
x
x
x到零点的p阶闵氏距离。
∥
x
∥
∞
=
max
i
∣
x
i
∣
\|x\|_ {\infty}=\max _ {i}\left|x_{i}\right|
∥x∥∞=imax∣xi∣
当p趋向于正无穷时，即所有向量元素绝对值中的最大值。
当统计模型把随机误差和噪声也考虑进去而不仅仅是考虑数据的基础关联时，就会出现过过拟合。正则化通过添加参数的惩罚项，防止模型对数据过拟合。
min
θ
1
N
∑
i
=
1
N
L
(
y
i
,
f
θ
(
x
i
)
)
+
λ
Ω
(
θ
)
\min _ {\theta} \frac{1}{N} \sum_{i=1}^{N} \mathcal{L}\left(y_{i}, f_{\theta}\left(x_{i}\right)\right)+\lambda \Omega(\theta)
θminN1i=1∑NL(yi,fθ(xi))+λΩ(θ)
L
1
L1
L1正则化时，对应惩罚项为
L
1
L1
L1范数:
Ω
(
θ
)
=
∣
∣
θ
∣
∣
1
=
∑
m
=
1
M
∣
θ
m
∣
min
θ
1
N
∑
i
=
1
N
L
(
y
i
,
f
θ
(
x
i
)
)
+
λ
∥
θ
∥
1
\begin{aligned} &\Omega(\theta)=|| \theta||_ {1}=\sum_{m=1}^{M} | \theta_{m}| \newline &\min _ {\theta} \frac{1}{N} \sum_{i=1}^{N} \mathcal{L}\left(y_{i}, f_{\theta}\left(x_{i}\right)\right)+\lambda\|\theta\|_ {1} \end{aligned}
Ω(θ)=∣∣θ∣∣1=m=1∑M∣θm∣θminN1i=1∑NL(yi,fθ(xi))+λ∥θ∥1
L
2
L2
L2正则化时，对应惩罚项为
L
2
L2
L2范数的平方:
Ω
(
θ
)
=
∣
∣
θ
∣
∣
2
2
=
∑
m
=
1
M
θ
m
2
min
θ
1
N
∑
i
=
1
N
L
(
y
i
,
f
θ
(
x
i
)
)
+
λ
∥
θ
∥
2
2
\begin{aligned} &\Omega(\theta)=|| \theta||_ {2}^{2}=\sum_{m=1}^{M} \theta_{m}^{2} \newline &\min _ {\theta} \frac{1}{N} \sum_{i=1}^{N} \mathcal{L}\left(y_{i}, f_{\theta}\left(x_{i}\right)\right)+\lambda\|\theta\|_ {2}^{2} \end{aligned}
Ω(θ)=∣∣θ∣∣22=m=1∑Mθm2θminN1i=1∑NL(yi,fθ(xi))+λ∥θ∥22
红色的椭圆和蓝色的区域的切点就是目标函数的最优解，如果是圆，则很容易切到圆周的任意一点，但是很难切到坐标轴上，因此没有稀疏。但是如果是菱形或者多边形，则很容易切到坐标轴上，导致
W
W
W中许多项变成零，因此很容易产生稀疏的结果。
https://www.jianshu.com/p/c9bb6f89cfcc
https://blog.csdn.net/qq_25847123/article/details/90400678
