概述
求解带约束的最优化问题，一类很重要的方法就是将约束添加到目标函数中，从而转换为一系列子问题进行求解，最终逼近最优解。关键问题是如何将约束进行转换。本节主要介绍
1. 二次惩罚方法
2. 非平滑惩罚方法
3. 增广拉格朗日方法
二次惩罚方法
动机
带约束问题如果转换为目标函数加上一个对约束的惩罚项，则问题转换为一个无约束问题。
转换后的问题可以通过惩罚项的系数进行控制，一个比较常见的惩罚函数就是二次惩罚。
等式约束的最优化问题
等式约束问题可以表示为
min f(x)s.t ci(x)=0,i∈E
添加一个二次惩罚项，则有
Q(x;μ)=f(x)+μ2∑i∈Ec2i(x)
其中
μ
是惩罚参数，直观上只要增加惩罚参数的值就可以逼近原始问题的最优解。
在实际中，对于某个惩罚参数
μ
只要几步无约束最优化问题，不需要寻找最优解。
一般化约束最优化问题
一般化约束最优化问题表示为
minf(x)s.tci(x)=0 i∈E
