为什需要采用增广拉格朗日函数
目标函数的可以转化为Lagrangian函数的最小，称之为对偶函数(dual function)
d
(
λ
)
=
min
x
∈
X
L
(
x
,
λ
)
(1)
d(\lambda)=\min_{x\in X}L(x,\lambda) \tag{1}
d(λ)=x∈XminL(x,λ)(1)
众所周知，对于任意的可行
x
x
x 和
λ
≥
0
\lambda\ge 0
λ≥0 , the weak duality relation
d
(
λ
≤
f
(
x
)
)
d(\lambda\le f(x))
d(λ≤f(x)) 总是holds。拉格朗日对偶问题(1)然后是找到使
d
(
λ
)
d(\lambda)
d(λ) 最大的乘子向量 (
λ
∗
≥
0
\lambda^*\ge 0
λ∗≥0)
max
λ
≥
0
d
(
λ
)
\max_{\lambda\ge 0}d(\lambda)
λ≥0maxd(λ)
(
x
∗
,
λ
∗
)
(x^*,\lambda^*)
(x∗,λ∗) 对被称为
L
(
x
,
λ
)
L(x,\lambda)
L(x,λ) 的全局鞍点，如果对于所有的
x
∈
X
,
λ
≥
0
x\in X, \lambda\ge 0
x∈X,λ≥0
L
(
x
∗
,
λ
)
≤
L
(
x
∗
,
λ
∗
)
≤
L
(
x
,
λ
∗
)
L(x^*,\lambda)\le L(x^*,\lambda^*)\le L(x,\lambda^*)
L(x∗,λ)≤L(x∗,λ∗)≤L(x,λ∗)
众所周知，一个零对偶间隙等价于拉格朗日函数鞍点的存在性，
It is well known that a zero duality gap is equivalent to the existence of a saddle point of the Lagrangian function
所以鞍点是否存在在拉格朗日对偶方法解决问题扮演着重要的角色。
但是当目标函数或者限制函数非凸时，不能保证鞍点的存在。
一个对于传统拉格朗日方法的对偶间隙的补救
(A remedy to duality gaps) 就是采用非线性的拉格朗日函数或者增广拉格朗日函数。
就是说传统的拉格朗日对偶方法可能不能找到非凸问题的最优点，因为存在对偶间隙
