1、最优化模型最优化模型一、最优化模型的概述一、最优化模型的概述二、最优化模型的分类二、最优化模型的分类三、最优化模型的建立及求解三、最优化模型的建立及求解四、最优化模型的评价分析四、最优化模型的评价分析 数学家对最优化问题的研究已经有很多年的数学家对最优化问题的研究已经有很多年的历史。历史。以前解决最优化问题的数学方法只限于古典以前解决最优化问题的数学方法只限于古典求导方法和变分法，拉格朗日（求导方法和变分法，拉格朗日（LagrangeLagrange）乘数）乘数法解决等式约束下的条件极值问题。法解决等式约束下的条件极值问题。计算机技术的出现，使得数学家研究出了许计算机技术的出现，使得数学家研究
2、出了许多最优化方法和算法用以解决以前难以解决的问多最优化方法和算法用以解决以前难以解决的问题。题。一、最优化模型的概述一、最优化模型的概述 解决最优生产计划、最优设计、最优策略解决最优生产计划、最优设计、最优策略.运用最优化方法解决最优化问题的一般方运用最优化方法解决最优化问题的一般方法步骤如下：法步骤如下：前期分析：分析问题，找出要解决的目标，约束条件，前期分析：分析问题，找出要解决的目标，约束条件，并确立最优化的目标。并确立最优化的目标。定义变量，建立最优化问题的数学模型，列出目标函定义变量，建立最优化问题的数学模型，列出目标函数和约束条件。数和约束条件。针对建立的模型，选择合适的求解方法
3、或数学软件。针对建立的模型，选择合适的求解方法或数学软件。编写程序，利用计算机求解。编写程序，利用计算机求解。对结果进行分析，讨论诸如：结果的合理性、正确性，对结果进行分析，讨论诸如：结果的合理性、正确性，算法的收敛性，模型的适用性和通用性，算法效率与算法的收敛性，模型的适用性和通用性，算法效率与误差等。误差等。最优化模型分类方法有很多，可按变量、约最优化模型分类方法有很多，可按变量、约束条件、目标函数个数、目标函数和约束条件的束条件、目标函数个数、目标函数和约束条件的是否线性是否依赖时间等分类。是否线性是否依赖时间等分类。根据目标函数，约束条件的特点将最优化模根据目标函数，约束条件的特点将最
4、优化模型包含的主要内容大致如下划分：型包含的主要内容大致如下划分：线性规划线性规划 整数规划整数规划 非线性规划非线性规划 多目标规划多目标规划 动态动态规划规划 对策论对策论二、最优化模型的分类二、最优化模型的分类最优化模型的求解方法分类最优化模型的求解方法分类图克定理库恩极值原理有约束变分法微分法无约束解析法-.1.5.4网络优化方法多目标优化法随机搜索法单纯形法方向加速法步长加速法坐标轮换法多维搜索法插值法黄金分割法裴波那契法一维搜索法数值算法.2复形法法法化有为无梯度法梯度投影法可行方向法有约束梯度法变尺度法共轭梯度法拟牛顿法最速下降法无约束梯度法梯度算法SWIFTSUMT.3最优化数
5、学模型形式最优化数学模型形式 min()xf x.()0,1,2,.,()0,1,2,.,iistg ximh xin 其中，极大值问题可以转化为极小值问题来其中，极大值问题可以转化为极小值问题来进行求解。如求：进行求解。如求：max()xf x 可以转化为：可以转化为：min()xf x三、最优化模型的建立三、最优化模型的建立目标：求函数极值或最值，求取得极值时变量的取值。目标：求函数极值或最值，求取得极值时变量的取值。问题问题：某工厂在计划期内要安排生产：某工厂在计划期内要安排生产I、II两种产品，已两种产品，已知生产单位产品所需的设备台时及知生产单位产品所需的设备台时及A、B两种原材料的
6、消两种原材料的消耗，如下表所示耗，如下表所示 12kg40原材料原材料B16kg04原材料原材料A8台时台时21设备设备III该工厂每生产一件产品该工厂每生产一件产品I可获利可获利2元，每生产一件产品元，每生产一件产品II可获利可获利3元。问应如何安排计划使该工厂获利最多？元。问应如何安排计划使该工厂获利最多？解解：该工厂生产产品：该工厂生产产品I x1件，生产产品件，生产产品II x2件，件，我们可建立如下数学模型：我们可建立如下数学模型：2132maxxxz0,12416482212121xxxxxxs.t.2,41421xxz 最优化问题中的所有变量均为整数时，这类最优化问题中的所有变量
7、均为整数时，这类问题称为整数规划问题。问题称为整数规划问题。整数规划可分为线性整数规划和非线性整数整数规划可分为线性整数规划和非线性整数规划规划 ，以及混合整数规划等。，以及混合整数规划等。如果决策变量的取值要么为如果决策变量的取值要么为0 0，要么为，要么为1 1，则，则这样的规划问题称为这样的规划问题称为0 01 1规划。规划。问题：问题：某班级准备从某班级准备从5名名游泳队员中选择游泳队员中选择4人人组成接力队，组成接力队，参加学校的参加学校的4*100m混合泳接力比赛。混合泳接力比赛。5名队员名队员4种泳姿种泳姿的百的百米平均成绩如表米平均成绩如表2-1，问应如何选拔队员组成接力队？，
8、问应如何选拔队员组成接力队？队员队员甲甲已已丙丙丁丁戊戊蝶泳蝶泳仰泳仰泳蛙泳蛙泳自由泳自由泳66.866.8秒秒57.257.27878707067.467.475.675.66666878758.658.666.466.4535367.867.874.274.2717184.684.659.459.469.669.657.257.283.883.862.462.4表表2-12-1问题分析：问题分析：记甲、乙、丙、丁、戊分别为记甲、乙、丙、丁、戊分别为i i=1,2,3,4,5;=1,2,3,4,5;记泳姿记泳姿j j=1,2,3,4.=1,2,3,4.记队员记队员 i i 的第的第 j j
9、种泳姿的百米最好种泳姿的百米最好成绩为成绩为c_c_ijij(s),(s),则表则表2-12-1可以表示成表可以表示成表2-2.2-2.c_iji=1i=2i=3i=4i=5j=1j=2j=3j=466.866.857.257.27878707067.467.475.675.66666878758.658.666.466.4535367.867.874.274.2717184.684.659.459.469.669.657.257.283.883.862.462.4表表2-22-2 决策变量：决策变量：引入引入0-1变量变量 ，若选择队员，若选择队员i参加泳姿参加泳姿j的的比赛比赛,记，记，否
10、则记，否则记 。目标函数：目标函数：当队员当队员i入选泳姿入选泳姿j时，时，表示该队员的成表示该队员的成绩，否则绩，否则 。于是接力队的成绩可表示为。于是接力队的成绩可表示为 约束条件：约束条件：根据接力队要求，根据接力队要求，满足约束条件满足约束条件a.每人最多只能入选每人最多只能入选4种泳姿之一，即种泳姿之一，即b.每种泳姿必须有每种泳姿必须有1人而且只能有一人入选，即人而且只能有一人入选，即ijx0ijx1ijx.151iijx.141jijxijx.4151jiijijxcf0ijijxcijijxc 综上所述，这个问题的优化模型可写作：综上所述，这个问题的优化模型可写作：.1,0ij
11、x.4,3,2,1,151jxiij.5,4,3,2,1,1.41ixtsjij4151minjiijijxcf非线性规划问题的一般数学模型：非线性规划问题的一般数学模型：其中，其中，为目标函数，为目标函数，为约束函数，这些函数中至少有为约束函数，这些函数中至少有一个是非线性函数。一个是非线性函数。min().()0,1,2,()0,1,2,.ijf xstg ximh xjlnEx)(xf)(),(xhxgji应用实例：应用实例：供应与选址供应与选址 某公司有某公司有6个建筑工地要开工，每个工地的位置（用平面坐标系个建筑工地要开工，每个工地的位置（用平面坐标系a，b表示，距离单位：表示，距离
12、单位：km）及水泥日用量）及水泥日用量d(t)由下表给出目前有由下表给出目前有两个临时料场位于两个临时料场位于A(5,1)，B(2,7)，日储量，日储量各有各有20t假设从料场到假设从料场到工地之间均有直线道路相连工地之间均有直线道路相连 （1）试制定每天的供应计划，即从）试制定每天的供应计划，即从A，B两料场两料场分别向各工地运分别向各工地运送多少水泥，可使总的送多少水泥，可使总的吨千米数最小吨千米数最小（2）为了进一步减少吨千米数，打算舍弃两个临时料场，改建两）为了进一步减少吨千米数，打算舍弃两个临时料场，改建两个新的，日储量各为个新的，日储量各为20t，问应建在何处，节省的吨千米数有多大
13、？，问应建在何处，节省的吨千米数有多大？建立模型建立模型 记工地的位置为记工地的位置为(ai，bi)，水泥日用量为，水泥日用量为di，i=1,6;料场位置为料场位置为(xj，yj)，日储量为，日储量为ej，j=1,2；料场；料场j向工地向工地i的运送量为的运送量为Xij当用临时料场时决策变量为：当用临时料场时决策变量为：Xij，当不用临时料场时决策变量为：当不用临时料场时决策变量为：Xij，xj，yj 事实上，客观世界中的大多问题都是非线性的，给事实上，客观世界中的大多问题都是非线性的，给予线性化处理是近似的，是在作了科学的假设和简化后予线性化处理是近似的，是在作了科学的假设和简化后得到的得到
14、的.另一方面，有一些是不能进行线性化处理的，另一方面，有一些是不能进行线性化处理的，否则将严重影响模型对实际问题近似的可依赖型否则将严重影响模型对实际问题近似的可依赖型.由于非线性规划问题在理论分析和计算上通常是很由于非线性规划问题在理论分析和计算上通常是很困难的，也不能像线性规划那样给出简洁的结果形式和困难的，也不能像线性规划那样给出简洁的结果形式和全面透彻的结论全面透彻的结论.所以，在数学建模时，要进行认真的所以，在数学建模时，要进行认真的分析，对实际问题进行合理的假设、简化，首先考虑用分析，对实际问题进行合理的假设、简化，首先考虑用线性规划模型，线性规划模型，若线性近似误差较大时若线性近
15、似误差较大时，则考虑用非线，则考虑用非线性规划性规划.在约在约1万米的高空的某边长为万米的高空的某边长为160km的正方的正方形区域内，经常有若干架飞机作水平飞行，区形区域内，经常有若干架飞机作水平飞行，区域内每架飞机的位置和速度向量均由计算机记域内每架飞机的位置和速度向量均由计算机记录其数据，以便进行飞行管理。当一架欲进入录其数据，以便进行飞行管理。当一架欲进入该区域的飞机到达区域边缘时，计算机记录其该区域的飞机到达区域边缘时，计算机记录其数据后，要立即计算并判断是否会发生碰撞。数据后，要立即计算并判断是否会发生碰撞。若会发生碰撞，则应计算若会发生碰撞，则应计算如何调整如何调整各架飞机各架飞
16、机（包括新进入的飞机）飞行的方向角，以避免（包括新进入的飞机）飞行的方向角，以避免碰撞，且使飞机的调整的幅度尽量小，碰撞，且使飞机的调整的幅度尽量小，例例1 1995年全国数学建模年全国数学建模A题：飞行管理问题题：飞行管理问题例题讲解例题讲解该题比较有意思的一句话是：该题比较有意思的一句话是：“使调整弧度最小使调整弧度最小”开放性的一句话，没有限制得很死，较灵活，开放性的一句话，没有限制得很死，较灵活，给参赛者的创新空间比较大一些，使得构建模型给参赛者的创新空间比较大一些，使得构建模型的目标函数表现形式很多，再加上模型求解方法的目标函数表现形式很多，再加上模型求解方法（算法）的多样性，从而可
17、以呈现出五花八门的（算法）的多样性，从而可以呈现出五花八门的论文。论文。不碰撞的标准为任意两架飞机的距离大于不碰撞的标准为任意两架飞机的距离大于8km;假设条件：假设条件：30 飞机飞行的方向角调整幅度不应超过飞机飞行的方向角调整幅度不应超过 ；（因飞机飞行的速度变化不大）所有飞机的飞行（因飞机飞行的速度变化不大）所有飞机的飞行 速度速度 v 均为均为800km/h;有时需要通过查阅文献、资料给出合理假设有时需要通过查阅文献、资料给出合理假设注：注：进入该区域的飞机在到达区域边缘时，与区域内进入该区域的飞机在到达区域边缘时，与区域内 飞机的距离应在飞机的距离应在60km以上；以上；最多需考虑六
18、架飞机；最多需考虑六架飞机；不必考虑飞机离开此区域后的状况。不必考虑飞机离开此区域后的状况。根据当年竞赛题目给出的数据，可以验证根据当年竞赛题目给出的数据，可以验证新进入的飞机与区域内的飞机的距离超过新进入的飞机与区域内的飞机的距离超过60公里。公里。根据当年竞赛题目给出的数据，可以验证根据当年竞赛题目给出的数据，可以验证区域内的飞机不超过架区域内的飞机不超过架(包括新进入的包括新进入的)。个人的想法不同，队友之间争执不下的情况下，个人的想法不同，队友之间争执不下的情况下，若时间允许，都可一一写到论文中去，建立的模若时间允许，都可一一写到论文中去，建立的模型一、模型二型一、模型二；或者经讨论后
19、，选择一个认或者经讨论后，选择一个认为更合理的。为更合理的。现在看来，无论是构建模型，还是计算，都不太现在看来，无论是构建模型，还是计算，都不太难。难。本例题未给出数据，将重点放在如何构建模型上本例题未给出数据，将重点放在如何构建模型上解：解：(1)不考虑飞机的尺寸，用点代表飞机；不考虑飞机的尺寸，用点代表飞机；(2)已在区域内的已在区域内的5架飞机按给定的方向角作架飞机按给定的方向角作 直线飞行，则必不会碰撞，也不会发生直线飞行，则必不会碰撞，也不会发生 意外；意外；(应该根据题目中所给出的数据简应该根据题目中所给出的数据简 单的单的 验证一下验证一下)(3)飞机调整方向角的过程可在瞬间完成
20、飞机调整方向角的过程可在瞬间完成,(不不 计调整方向所花费的时间计调整方向所花费的时间)。为解决该问题，补充假设：为解决该问题，补充假设：变量、参数的符号假设变量、参数的符号假设（为了建模）（为了建模）00,1 26)iixyii 第第 架架机机的的初初始始位位置置,(，,(，01 26)iii 第第 架架机机的的整整前前的的方方向向角角,(，,(，1 26)iii 第第 架架机机的的整整后后的的方方向向角角,(，,(，在区域内飞行在区域内飞行iiTi 第第 架架 机 机按按方方向向角角飞飞时间（可以根据数据算出来）时间（可以根据数据算出来）四种情况：四种情况：四个象限，易用四个象限，易用4个
21、表达式表示个表达式表示说明：说明：用初等数学的知识即可完成，用初等数学的知识即可完成，思考：思考：在哪个时间段某两架飞机可能相撞？在哪个时间段某两架飞机可能相撞？?ijTTor otherelseIn fact,我们只需考虑两架飞机我们只需考虑两架飞机同时同时在区域内在区域内飞行时的情况，也就是说，飞行时的情况，也就是说，min,ijT T才是同在区域内的状况。才是同在区域内的状况。记为记为ijT 00002202,mincoscossinsinijijijijijt Tijijdxxvtyyvt 根据题目条件，需计算第根据题目条件，需计算第 架飞机之间架飞机之间的的最短距离最短距离,i j为
22、此，我们可以给出原问题的模型如下：为此，我们可以给出原问题的模型如下：00612min,60,1,2,6,.,1,2,6.6iiiijijiidi jijs ti 思考：思考：是否还有其他的表达形式？是否还有其他的表达形式？非线性非线性规划模规划模型型分别从目标函数和约束条件角度思考分别从目标函数和约束条件角度思考首先思考一下目标函数是否有其它的表达？首先思考一下目标函数是否有其它的表达？061miniii 同学们首先想到的可能是同学们首先想到的可能是Oh,Sorry!有正有负有正有负抵消抵消061miniii 0621miniii 最小一最小一乘乘 法法最小二最小二乘乘 法法 因最小一乘法带
23、绝对值，不好计算，以上两式，因最小一乘法带绝对值，不好计算，以上两式，比较而言，后者较好。比较而言，后者较好。为了避免抵消为了避免抵消or有的队员这样考虑：有的队员这样考虑：016min maxiii 令为令为 ,转化为二次规划转化为二次规划用到经验模型中确定参数的近似准则用到经验模型中确定参数的近似准则:就所有飞机而言，就所有飞机而言，让调整弧度最大的让调整弧度最大的即即尽可能小，尽可能小，Chebshavf 准则准则其次讨论一下约束条件是否有其它表达？其次讨论一下约束条件是否有其它表达？若考虑区域内不发生碰撞（若时间允许，也若考虑区域内不发生碰撞（若时间允许，也可以考虑出了区域的情况，另外
24、建模）、错层可以考虑出了区域的情况，另外建模）、错层飞行（飞高或者飞低避免碰撞），进行模型的飞行（飞高或者飞低避免碰撞），进行模型的进一步改进，重点应放在解决问题的方法上。进一步改进，重点应放在解决问题的方法上。如如 02,1,2,6,6,60,1,2,6,iiijijidi jij 无论选择哪一种表达，怎样考虑约束条件，无论选择哪一种表达，怎样考虑约束条件，目标函数都不可能是线性的。目标函数都不可能是线性的。现在看来，那年的题目建模只是在条件的现在看来，那年的题目建模只是在条件的考虑上和建模中目标函数的表达方面较难一点。考虑上和建模中目标函数的表达方面较难一点。是一个带不等式约束的非线性规划
25、问题。是一个带不等式约束的非线性规划问题。而且不可能转化成线性的形式。而且不可能转化成线性的形式。非线性规划模型按约束条件可分为以下三类：非线性规划模型按约束条件可分为以下三类：无约束非线性规划模型：无约束非线性规划模型：等式约束非线性规划模型：等式约束非线性规划模型：min()nf xxRmin().()0,1,2,jf xst h xjr 不等式约束非线性规划模型：不等式约束非线性规划模型：min().()0,1,2,if xst g xim如如数据拟合的最小二乘问题就是一个无约束极值问数据拟合的最小二乘问题就是一个无约束极值问题。题。其思想是：观察点（实验数据点）到曲线的距其思想是：观察
26、点（实验数据点）到曲线的距离的平方之和最小离的平方之和最小 无约束非线性规划模型：无约束非线性规划模型：理论上无约束极值问题可化成求解理论上无约束极值问题可化成求解 0grad fx 即解一个即解一个 n 元方程组，且往往是非线性方程组。元方程组，且往往是非线性方程组。而一般说来，非线性方程组的求解并不比求无而一般说来，非线性方程组的求解并不比求无约束极值容易。约束极值容易。求解无约束极值问题的基本方法：求解无约束极值问题的基本方法：迭代法迭代法 从一个给定的初始可行点从一个给定的初始可行点 出发，依次出发，依次0 x产生一个可行点列产生一个可行点列12,kxxx的一个极小值点的一个极小值点,
27、恰好是恰好是使得某个使得某个kx fx基本思路：基本思路：或或 kx收敛于收敛于x,称具有这种性质的算法称具有这种性质的算法是是收敛的收敛的.由由kx迭代到迭代到1kx 时时,1,kkkkxxp 记记即即1,kkkkxxp kp其中向量其中向量为为搜索方向搜索方向,实数实数k 称为称为步长步长,确定以后确定以后,kkp kx由由可唯一地确定可唯一地确定1,kx 从从0 x出发就可确定点列出发就可确定点列 .kx迭代的方法很多迭代的方法很多,各种迭代法的区别在于选取各种迭代法的区别在于选取,kkp 的方式不同的方式不同,而而kp尤为关键尤为关键.一般要求一般要求 kfx递减递减,具有这种性质的算
28、法叫做具有这种性质的算法叫做下降下降算法算法.若已得若已得,kx下降得最多下降得最多,并确定了并确定了kx的可行下降方向的可行下降方向,kp上选取步长上选取步长则在射线则在射线 0kkxp,k 使使 ,kkkkfxpfx 且使且使 kfx 00minmin,kkkkkfxpfxp 即求即求求求k 的过程称为的过程称为一维搜索一维搜索.1.下降算法下降算法于是一维搜索归结为求解一维无约束极值问题于是一维搜索归结为求解一维无约束极值问题:min,xxR 其算法有其算法有Newton法、平分法、黄金分割法法、平分法、黄金分割法（0.618法）、分数法（法）、分数法（Fibonacci法）、抛法）、抛
29、物线法（二次插值法）等，物线法（二次插值法）等，前两种算法需计算前两种算法需计算 x 的导数，的导数，后三种算法只需计算后三种算法只需计算 x 的函数值。的函数值。下面仅介绍下面仅介绍Newton法，对其他方法的了解可法，对其他方法的了解可参考有关书籍。参考有关书籍。按按0,1,2,k 给定初始可行点给定初始可行点 和控制误差和控制误差 ，0 x0 迭代格式迭代格式 1kkkkxxxx 迭代，迭代，当当1kkxx 时，时，x 即求得即求得的最优解的近似解的最优解的近似解1,kxx 停止计算。停止计算。Newton 法介绍法介绍 一个好的算法必须以较快的速度收敛到一个好的算法必须以较快的速度收敛
30、到最优解。最优解。kx设算法产生的点列设算法产生的点列收敛于最优解收敛于最优解,x 1p 若存在若存在及及1lim,kpkkxxCxx 0,C 使使 kx则称则称为为 p 阶收敛的。阶收敛的。该算法也是该算法也是 p 阶收敛的。阶收敛的。称为称为线性收敛；线性收敛；1lim,kpkkxxCxx 1p 当当且且01C时，时，称为称为超线性收敛；超线性收敛；12p当当时，时，称为称为平方收敛；平方收敛；2p 当当时，时，一个算法是否收敛，一个算法是否收敛，0 x往往与往往与的选取有关的选取有关 若当若当0 x充分接近充分接近x 时，时，由算法产生的点列由算法产生的点列 kx才收敛于才收敛于,x 则
31、称该算法为具有局部收敛则称该算法为具有局部收敛性的算法；性的算法；若对若对0,xD则称该算法为具有全局收敛性的算法。则称该算法为具有全局收敛性的算法。由算法产生由算法产生 的点列的点列 kx均收敛均收敛,x 于于 Newton法是平方收敛的，具有局部收敛法是平方收敛的，具有局部收敛性；抛物线法是超线性收敛的，具有全局收敛性；抛物线法是超线性收敛的，具有全局收敛性；平分法、黄金分割法、分数法是线性收敛性；平分法、黄金分割法、分数法是线性收敛的，具有全局收敛性。的，具有全局收敛性。常见一维搜索算法的收敛性常见一维搜索算法的收敛性当当 x 具有多个极小值点时，具有多个极小值点时，则算法求得则算法求得
32、的往往是的往往是 x 的一个局部极小值点。的一个局部极小值点。此时可此时可改变改变0 x的取值，重新迭代求解。的取值，重新迭代求解。若求得多个极小值点，则从中选择一个若求得多个极小值点，则从中选择一个较满意的结果。较满意的结果。说明：说明：1847年年Cauchy提出了第一个无约束极值问提出了第一个无约束极值问题的算法题的算法梯度法或最速下降法：梯度法或最速下降法：2.梯度法梯度法.00)(0kX，令，允许误差越接近最优点越好步骤一：选定初始点).(),(,kkkkXfPXfX选取搜索方向计算梯度优点步骤二：假定已得非最.11返回继续搜索令不满足给定精度要求，如果kkXk).(min)(,k0
33、kkkk1PXfPXfPXXkkkkk，满足：步骤三：选定搜索步长.1*1kkXXX搜索完成，近似最优点满足给定精度要求，则如果.)()()(.1111kkkkkkXXXfXfXfX或或断准则：检验是否满足收敛性判根据精度要求，要求的近似解是否是最优点或是满足步骤四：判断例题：应用梯度法求解例题：应用梯度法求解.0:2.0)2,2(0kX，令，允许误差步骤一：选定初始点.100,4)(),(kkkXfPXf选取搜索方向步骤二：计算梯度.02.0,)1002(25)42()().(min)(,02200000kkkk1解得优步长第一点搜索计算：求最，满足：步骤三：选定搜索步长PXfPXfPXfP
34、XXkkkk.02.031.100)()(),0,92.1(.)()()(.0111111不满足，继续搜索且第一点搜索计算：或或断准则：检验是否满足收敛性判根据精度要求，要求的近似解是否是最优点或是满足步骤四：判断XfXfXXXXfXfXfXkkkkkk.25)(min2221xxXf解：解：该算法具有全局收敛性，是线性收敛的，该算法具有全局收敛性，是线性收敛的，但有时是很慢的线性收敛，这似乎与但有时是很慢的线性收敛，这似乎与“最速下最速下降降”矛盾。其实不然，最速下降方向函数在某矛盾。其实不然，最速下降方向函数在某点处的局部性质，对局部来说是最速下降方向，点处的局部性质，对局部来说是最速下降
35、方向，对全局来说却不一定是最速下降方向，故梯度对全局来说却不一定是最速下降方向，故梯度法不是有效的实用算法。法不是有效的实用算法。通过对它改进或利用它与其他收敛快的算通过对它改进或利用它与其他收敛快的算法相结合可得法相结合可得Newton法、法、Fletcher-Reeves共轭梯度法、变尺度法和共轭梯度法、变尺度法和Powell法法等有效算等有效算法。法。下面仅介绍前两者，对后两者的了解可参下面仅介绍前两者，对后两者的了解可参阅有关书籍。阅有关书籍。121,kkkkxxfxg 当当1kkxx 时，时，则则 。1kxx 其中其中 1 112121222122,nnnnnnx xkx xkx x
36、kx xkx xkx xkkx xkx xkx xkfxfxfxfxfxfxfxfxfxfx称为称为 fx在在 处的处的Hesse矩阵。矩阵。kxNewton法法 该算法是平方收敛的，具有局部收敛性。该算法是平方收敛的，具有局部收敛性。对对Newton法进行改进，可得具有超线性法进行改进，可得具有超线性收敛的且具有全局收敛性的收敛的且具有全局收敛性的阻尼阻尼Newton法法或或修正修正Newton法法：121102min,kkkkkkkkfxfxgfxgfxfx 当当1kkxx 时，时，有有 。1kxx Fletcher-Reeves共轭梯度法共轭梯度法当当1kkxx 时，时，有有 。1kxx
37、 该算法的收敛速度介于梯度法和该算法的收敛速度介于梯度法和Newton法法其中其中00,Pg 之间，既克服了前者的慢收敛性，又避免了之间，既克服了前者的慢收敛性，又避免了111TkkkkkTkkg gPgPgg 10min,kkkkkkfxfxpfxp 后者计算量大和仅具有局部收敛性的缺陷。后者计算量大和仅具有局部收敛性的缺陷。（2 2）只有等式约束的非线性规划问题通常可用只有等式约束的非线性规划问题通常可用消元法、拉格朗日乘子法，将其化为无约束问消元法、拉格朗日乘子法，将其化为无约束问题求解题求解.（3 3）具有不等式约束的非线性规划问题解起来具有不等式约束的非线性规划问题解起来很复杂，求解
38、这一类问题，通常将不等式化很复杂，求解这一类问题，通常将不等式化为等式约束，再将约束问题化为无约束问题，为等式约束，再将约束问题化为无约束问题，用线性逼近的方法将非线性规划问题化为线用线性逼近的方法将非线性规划问题化为线性规划问题性规划问题.下面先介绍一个简单的非线性规划问题下面先介绍一个简单的非线性规划问题的例子，其中的一些约束条件是等式，这类非的例子，其中的一些约束条件是等式，这类非线性规划问题可用拉格朗日方法求解线性规划问题可用拉格朗日方法求解.Kuhn-Tucker定理：对于不等式约束非线性最优化 极值问题若 ，均可微，则其极值点存在的必要条件是：注：更详细的结论参阅有关书籍注：更详细
39、的结论参阅有关书籍.()fX()igX 不等式约束非线性规划模型不等式约束非线性规划模型注：1、库-图条件是判别有约束极值点的必要条件，并非充分条件。但是对于凸函数、凸集问题也是判别其极值点的充分条件。固此时的局部最优解也必为全局的最优解。2、库-图乘子与拉格朗日乘子类似。但拉格朗日乘子的符号不是确定的，可正可负；而库-恩乘子的符号是确定的，其规律为：a、求 ，时，则 b、求 ，时，则 c、求 ，时，则 d、求 ，时，则m in()f Xm in()f X()0ig X()0ig X()0ig X()0ig X 0i0i0i0ima x()f Xma x()f X罚函数法罚函数法:约束最优化问
40、题化为无约束最优化问题的一种求解方法约束最优化问题化为无约束最优化问题的一种求解方法罚函数法的步骤：（等式约束最优化问题罚函数法）罚函数法的步骤：（等式约束最优化问题罚函数法）罚函数法步骤：（不等式约束最优化问题罚函数法）罚函数法步骤：（不等式约束最优化问题罚函数法）注：罚函数法更多的详细改进工作，需参阅相关书籍注：罚函数法更多的详细改进工作，需参阅相关书籍 在许多实际问题中，衡量一个方案的好坏标准往往不止一个，例如设计一个导弹，既要射程最远，又要燃料最省，还要精度最高.这一类问题统称为多目标最优化问题或多目标规划问题.我们先来看一个投资计划的例子.例：例：投资问题投资问题 某公司在一段时间内
41、有某公司在一段时间内有a(亿元亿元)的资金可用于建厂投资。的资金可用于建厂投资。若可供选择的项目记为若可供选择的项目记为1,2,m。而且一旦对第。而且一旦对第i个项目投个项目投资就用去资就用去ai亿元；而这段时间内可得收益亿元；而这段时间内可得收益ci亿元。问如何亿元。问如何确定最佳的投资方案？确定最佳的投资方案？1i0iix对第 个项目投资不对第 个项目投资 最佳投资方案：投资最少，收益最大！最佳投资方案：投资最少，收益最大！投资最少：投资最少：1121min(,.,)mniiif x xxa x2121max(,.,)mniiifx xxc x约束条件为：约束条件为：1(1)0,1,2,.
42、miiiiia xaxxim收益最大：收益最大：).10()()!1()()(!)()(2)()()()(1000)1(00)(200000 nnnnxxnxxxfxxnxfxxxfxxxfxfxf一元函数的泰勒公式：一元函数的泰勒公式：定理定理 设设),(yxfz 在点在点),(00yx的某一邻域内连的某一邻域内连续且有直到续且有直到1 n阶的连续偏导数阶的连续偏导数,),(00hyhx 为此邻域内任一点为此邻域内任一点,则有则有二元函数的泰勒公式二元函数的泰勒公式:)10(),()!1(1),(!1),(!21),(),(),(00100002000000 kyhxfykxhnyxfykx
43、hnyxfykxhyxfykxhyxfhyhxfnn其中记号其中记号),(00yxfykxh ),(),(0000yxkfyxhfyx 表示表示),(002yxfykxh 表示表示),(),(2),(00200002yxfkyxhkfyxfhyyxyxx 表示表示),(00yxfykxhm .),(000yxpmpmpmpmppmyxpkhC 例题：例题：(最速降线问题最速降线问题)最速降线问题是历史上变分法最速降线问题是历史上变分法开始发展的第一个问题开始发展的第一个问题.它是贝努里（它是贝努里（J.BernoulliJ.Bernoulli）于于16961696年提出的。问题的提法是这样的：
44、年提出的。问题的提法是这样的：设设A A和和B B是铅直平面上不在同一铅直线上的两点，在所有是铅直平面上不在同一铅直线上的两点，在所有连结连结A A和和B B的平面曲线中，的平面曲线中，求一曲线求一曲线，当质点仅受重力作，当质点仅受重力作用，且初速为零，沿此曲线从用，且初速为零，沿此曲线从A A滑行至滑行至B B时，使所需时间时，使所需时间最短最短.例题：生产设备的最大经济效益例题：生产设备的最大经济效益 某工厂购买了一台新设备投入到生产中。一方面某工厂购买了一台新设备投入到生产中。一方面该设备随着运行时间的推移其磨损程度愈来愈大，该设备随着运行时间的推移其磨损程度愈来愈大，因此其转卖价将随着使用设备的时间增加而减小；因此其转卖价将随着使用设备的时间增加而减小；另一方面生产设备总是要进行日常保养，花费一另一方面生产设备总是要进行日常保养，花费一定的保养费，保养可以减缓设备的磨损程度，提定的保养费，保养可以减缓设备的磨损程度，提高设备的转卖价。那么，怎样确定高设备的转卖价。那么，怎样确定最优保养费最优保养费和和设备转卖时间设备转卖时间，才能使这台设备的经济效益最大。，才能使这台设备的经济效益最大。祝您成功！祝您成功！
