最优化问题是人们在科学研究和生产实践中经常遇到的问题[1]。人类所从事的一切生产或者社会活动均是有目的的。其行为总是在特点的价值观念或者审美取向的支配下进行的，因此经常面临一个可行的甚至是最优化的方案的决策问题。这就是最优化问题(Optimization Problem)。
很常见的例子，楼下小超市的商品定价，如何做到利润的最大化？分期一台14999的MacBook Pro如何选择最省钱？送外卖如何规划路线最近(TSP问题)？等等
描述最优化问题我们需要借助数学逻辑表达，其求解模型公式如下：
min f(X) or max f(X)，X ∈ D
1、D是问题解空间。
2、X是D的一个合法解，一般可将X表示为 X={x1，x2, ... xn},表示一组决策变量。
3、最优化问题就是在解空间D中，去寻找一个合法的解X(一组最佳的决策变量),使得X对应的函数映射值f(X)最大或者最小。
优化问题分为：连续优化(函数)问题和组合(离散)优化(Combinatorial Optimization)问题。根据决策变量xn取值类型，可以将最优化问题分为函数优化问题和组合优化问题。
决策变量xn为连续变量，此时的最优化问题为函数(连续)优化问题。
决策变量xn是离散的，此时最优化问题为组合优化问题。
当然很多应用问题的数学模型既有函数优化问题和组合优化问题的混合型。
图1.1 优化问题分类
函数优化问题在设计神经网络过程中，需要确定神经元节点间的网络链接权重，要使得网络性能达到最优，而在此类问题中，需要优化的取值是某个连续空间的值。因此通过函数优化方法对问题进行求解。
组合优化问题与函数优化不同的是，其决策变量是离散的，很多离散组合问题都是从运筹学(Operations Research，OR)演化而来的。研究组合优化问题涉及信息技术、经济管理、工程工业、交通运输等众多领域。组合优化问题在科学研究和生产实践中有着举足轻重的作用。
参考文献：
[1]施光燕，董加礼. 最优化方法. 北京: 高等教育出版社，2002
[2]孙文瑜, 徐成贤, 朱德通.最优化方法(第二版)[M]. 北京:高等教育出版社, 2010
