1、第二章第二章 优化设计优化设计Optimization Design本章主要内容本章主要内容 优化设计概述优化设计概述 优化问题的数学分析基础优化问题的数学分析基础 一维探索优化方法一维探索优化方法 无约束多维问题的优化方法无约束多维问题的优化方法 约束问题的优化方法约束问题的优化方法 多目标函数的优化方法多目标函数的优化方法 本章重难点本章重难点 优化设计数学模型的建立，掌握常用的优优化设计数学模型的建立，掌握常用的优化方法，如一维探索优化方法、无约束多维化方法，如一维探索优化方法、无约束多维问题的优化方法、约束问题的优化方法、以问题的优化方法、约束问题的优化方法、以及多目标函数的优化方法等
2、。及多目标函数的优化方法等。2.1 2.1 优化设计概述优化设计概述2.1.1 2.1.1 优化设计问题的提出优化设计问题的提出1.1.传统设计方法：传统设计方法：确定产品结构方案；尺寸计算和强度确定产品结构方案；尺寸计算和强度校核；调整方案，重新计算。校核；调整方案，重新计算。（循环设计过程）（循环设计过程）缺点：缺点：烦琐，耗时，以牺牲设计效率和质量为代价烦琐，耗时，以牺牲设计效率和质量为代价2.2.优化设计：优化设计：转化为最优化问题，利用数学规划的方法，转化为最优化问题，利用数学规划的方法，借助于计算机（高速度、高精度和大存储量）的处理，借助于计算机（高速度、高精度和大存储量）的处理，
3、从满足设计要求的一切可行方案中，按照预定的目标自从满足设计要求的一切可行方案中，按照预定的目标自动寻找最优设计的一种设计方法。动寻找最优设计的一种设计方法。优化设计三要素：优化设计三要素：设计变量，目标函数，约束条件。设计变量，目标函数，约束条件。满足：满足：gu( (m、z、x) )的情况下的情况下寻找：寻找：一组设计参数一组设计参数m、z、x；（模数、齿数、变位系数）模数、齿数、变位系数）使得：使得：设计目标设计目标流量最均流量最均匀匀, 体积最小体积最小, 寿命最长寿命最长以齿轮泵为例，其优化设计过程如下：以齿轮泵为例，其优化设计过程如下：2.1.2 2.1.2 优化设计的数学模型优化设
4、计的数学模型 优化设计的问题首先是建立数学模型，即把实际优化设计的问题首先是建立数学模型，即把实际问题转化为数学模型的形式。问题转化为数学模型的形式。优化模型三要素：优化模型三要素：设计设计变量，目标函数，约束条件。变量，目标函数，约束条件。1.1.设计变量设计变量 设计过程中，进行选择和调整，最终必须确定的独设计过程中，进行选择和调整，最终必须确定的独立参数称为立参数称为设计变量设计变量；固定不变，需要事先给定的参数；固定不变，需要事先给定的参数称为称为设计常量设计常量。（1 1）维数：）维数：设计变量的个数称为设计问题的维数。设设计变量的个数称为设计问题的维数。设计变量愈多，设计自由度愈大
5、，可供选择方案愈多，设计变量愈多，设计自由度愈大，可供选择方案愈多，设计计愈愈灵活，难度愈大，求解愈复杂。灵活，难度愈大，求解愈复杂。（2 2）设计空间）设计空间: : n 个设计变量的坐标轴所形成的个设计变量的坐标轴所形成的n维实维实空间称为设计空间，用空间称为设计空间，用Rn表示。设计空间中，表示。设计空间中，n 个设计个设计变量的坐标值组成一个设计点，并代表一个设计方案，变量的坐标值组成一个设计点，并代表一个设计方案，可采用如下向量表示：可采用如下向量表示： 其中，最优设计方案用其中，最优设计方案用 表示，称为表示，称为最优点最优点或或优化点优化点。*XnTnnRXxxxxxxX ,21
6、21二维设计空间二维设计空间三维设计空间三维设计空间x2x1X =x1 x2Tx1x2x3X= x1 x2 x3 T2.2.目标函数目标函数 优化设计的任务是在许多可行的方案中找出最优的优化设计的任务是在许多可行的方案中找出最优的方案，所谓最优方案是在设计变量中能最好的满足所追方案，所谓最优方案是在设计变量中能最好的满足所追求的某些特点的目标，而这些目标又可表达为设计变量求的某些特点的目标，而这些目标又可表达为设计变量的函数，称为的函数，称为目标函数。目标函数。目标函数可用来评价设计方案目标函数可用来评价设计方案的好坏，又称为的好坏，又称为评价函数评价函数。常表示为：。常表示为：目标函数表征的
7、是设计的某项或某些最重要的特征。目标函数表征的是设计的某项或某些最重要的特征。优化设计就是要通过优选设计变量使目标函数达到最优值。优化设计就是要通过优选设计变量使目标函数达到最优值。目标函数总可以转化成求最小值的统一形式。目标函数总可以转化成求最小值的统一形式。),()(21nxxxfXf等值曲面等值曲面: :目标函数值相等的所有设计点的集合称为目标函数的目标函数值相等的所有设计点的集合称为目标函数的等值曲面。二维：等值线；三维：等值面；三维以上：等超越面。等值曲面。二维：等值线；三维：等值面；三维以上：等超越面。z等值线族形象地反映了目标函等值线族形象地反映了目标函数值的变化规律，越靠近极值
8、数值的变化规律，越靠近极值点的点的等值线等值线，表示的目标函数值，表示的目标函数值越小，其分布也越密集。越小，其分布也越密集。xyo等高线等高线x*（中心极值点）（中心极值点）等值线族等值线族 二维设计变量下的等值线二维设计变量下的等值线3.3.约束条件（函数）约束条件（函数） 对任何设计都有若干不同的要求和限制，将这些要对任何设计都有若干不同的要求和限制，将这些要求和限制表示成设计变量的函数并写成一系列不等式和求和限制表示成设计变量的函数并写成一系列不等式和等式表达式，就构成了设计的等式表达式，就构成了设计的约束条件约束条件简称简称约束约束。其作。其作用是对设计变量的取值加以限制。用是对设计
9、变量的取值加以限制。（1）分类）分类 根据对设计变量取值的限制形式：根据对设计变量取值的限制形式：显约束（直接限制）显约束（直接限制）和和隐约束（间接限制）隐约束（间接限制）根据性质的不同：根据性质的不同：边界约束边界约束和和性能约束性能约束。 边界约束：边界约束：直接限制每个设计变量的取值范围或彼此直接限制每个设计变量的取值范围或彼此相互关系的一些辅助的区域约束。相互关系的一些辅助的区域约束。 性能约束：性能约束：由产品性能或设计者要求推导出来的用以由产品性能或设计者要求推导出来的用以间接限制设计变量取值范围的一种约束。间接限制设计变量取值范围的一种约束。 （2 2）可行域）可行域 任何任何
10、一个不等式约束一个不等式约束都把设计空间分为两部分，都把设计空间分为两部分，一部分是满足约束条件的称为一部分是满足约束条件的称为可行域可行域，另一部分是，另一部分是不满足约束条件的称为不满足约束条件的称为非可行域非可行域，这两部分的分界，这两部分的分界是是 ( (约束方程约束方程) )。 在约束边界上的点称为在约束边界上的点称为边界点边界点 两个以上约束边界的交点称为两个以上约束边界的交点称为角点角点0)(Xgi等式约束同样把设计空间分成两部分。等式约束同样把设计空间分成两部分。不等式约束与等式约束的几何意义：不等式约束与等式约束的几何意义：1x2x2x1x0)(Xg0)(Xg0)(Xg0)(
11、Xh0)(Xh0)(Xh在一个优化设计问题的设计空间中，满足所有在一个优化设计问题的设计空间中，满足所有约束条件的点构成的子空间，称为约束条件的点构成的子空间，称为可行域可行域。【例例1】作出下列约束条件构成的可行域：作出下列约束条件构成的可行域：1009080706050403020101009080706050403020100)(1Xg0)(4Xg0)(3Xg0)(2Xg0)(5Xg1x2x0),(0),(20054),(300103),(36049),(22151214212132121221211xxxgxxxgxxxxgxxxxgxxxxg【例例2 2】根据下列约束条件画出可行域。
12、根据下列约束条件画出可行域。 0)(01)(02)(132212211xXgxxXgxxXg543210-2-1212x1x0)(3Xg0)(1Xg0)(2Xg可行域在约束边界的哪可行域在约束边界的哪一边怎么确定？一边怎么确定？（3 3）起作用约束）起作用约束设设X X为设计空间中的一个点：为设计空间中的一个点： 满足所有约束条件的点称为可行点（内点和边界点）满足所有约束条件的点称为可行点（内点和边界点） 不满足所有约束条件的点称为非可行点（外点）不满足所有约束条件的点称为非可行点（外点） X X在某个约束边界上，则这个约束条件称为在某个约束边界上，则这个约束条件称为X X的的起作用起作用约束
13、约束 X X不在某个约束边界上，则这个约束条件称为不在某个约束边界上，则这个约束条件称为X X的不起的不起作用约束作用约束1x2x)3(X0)(3Xg) 1 (X)2(X0)(2Xg0)(1Xg0)(4Xg起作用约束起作用约束设计点设计点X X(k)(k)的所有起作用约的所有起作用约束的函数序号下标集合用束的函数序号下标集合用I Ik k表示，即表示，即 ), 2 , 10)()(muXguIkuk( ，3212 , 11,III 左图中左图中一般形式：一般形式： 123,nnixxxxnN xR求变量：123()(,)nf xxxx极小化 极大化 函数：123( ,)0()ungx x xx
14、约束条件：不等式约束123( ,)0()vnh x x xx等式约束4.4.优化设计的数学模型优化设计的数学模型 用用“maxmax、minmin”表示极大、极小化，用表示极大、极小化，用“s.ts.t”表示表示“满足于满足于”，“m m、p p”表示不等式约束与等式表示不等式约束与等式约束的个数，则表示如下形式：约束的个数，则表示如下形式：), 3 , 2 , 1(0)(), 3 , 2 , 1(0)(. .)(min(max)pvXhmuXgtsRXXfvun 本课程中，所有的优化设计问题都是求目标本课程中，所有的优化设计问题都是求目标函数的函数的极小值极小值。遇到求极大值的问题，则先通过
15、。遇到求极大值的问题，则先通过转化变成极小值问题。转化变成极小值问题。 与此同时，所有的不等式约束都采用与此同时，所有的不等式约束都采用的形式。的形式。5. 优化设计问题的求解优化设计问题的求解（1）图解法）图解法 【例例3】求解下列优化问题：求解下列优化问题：0)( 0)( 20054)( 300103)( 36049)( . .12060)( min251421321221121xXgxXgxxXgxxXgxxXgtsxxXf1009080706050403020101009080706050403020100)(1xg0)(4xg0)(3xg0)(2xg0)(5xg1x2x最优解是等值线
16、在函最优解是等值线在函数值下降方向上与可数值下降方向上与可行域的最后一个交点。行域的最后一个交点。0)(0)(020054)(0300103)(036049)(2514213212211约束方程：xXgxXgxxXgxxXgxxXgTX2420* ，22121112221231min( )44( )20. .( )10( )0f xxxxg xxxstgxxxgxx 【例例4】求解下列优化问题：求解下列优化问题：12-1-20123453452x1x0)(3Xg0)(2Xg0)(1Xg1)(Xf8 . 3)(Xf9)(XfTX34. 1 58. 0*，最优解是等值线在最优解是等值线在函数值下降
17、方向上函数值下降方向上与可行域的最后一与可行域的最后一个交点。个交点。 非线性问题的最优解要么是一个内点，要么是非线性问题的最优解要么是一个内点，要么是一个边界点；一个边界点； 非线性问题的最优解如果是一个边界点，那么非线性问题的最优解如果是一个边界点，那么它必定是等值线（面）在函数值下降方向上与它必定是等值线（面）在函数值下降方向上与可行域的最后一个交点；可行域的最后一个交点； 线性问题的最优解必定是等值线（面）在函数线性问题的最优解必定是等值线（面）在函数值下降方向上与可行域的最后一个交点；值下降方向上与可行域的最后一个交点；一般情况下：一般情况下：（2 2）数值迭代法）数值迭代法数值迭代
18、法的基本思想：数值迭代法的基本思想：从一个初始点从一个初始点 出发，按照一个出发，按照一个可行的搜索方向可行的搜索方向和和适当的步长适当的步长走一步，到达走一步，到达 ，再从，再从 出发，出发，选一个可行的搜索方向和适当的步长走一步，达选一个可行的搜索方向和适当的步长走一步，达到到 ，并保证每一步函数值都是下降的，即必须，并保证每一步函数值都是下降的，即必须满足满足 （这称为新点的（这称为新点的适用性适用性） ，这，这样一步一步地重复进行数值计算，直至达到目标函样一步一步地重复进行数值计算，直至达到目标函数的极小点。数的极小点。)0(X)1(X)1(X)2(X)()()1()(iiXfXf无约
19、束优化问题无约束优化问题2x1x)0(X)0(S)1(X)1 (S)2(X)2(S)3(X)3(S)4(X初始点初始点 )0(X用某种优化方法确定用某种优化方法确定 )0(S确定前进步长确定前进步长 计算计算 检查检查 若不满足则改变步长，若不满足则改变步长，满足则进入下一步满足则进入下一步)0()0()0()0()1(SXX?)()()0()1(XfXf从从 出发出发 )1(X用某种优化方法确定用某种优化方法确定 )1(S确定前进步长确定前进步长 计算计算 检查检查 若不满足则改变步长，若不满足则改变步长，满足则进入下一步满足则进入下一步?)()()1()2(XfXf从从 出发出发 )2(X
20、用某种优化方法确定用某种优化方法确定 )2(S确定前进步长确定前进步长 计算计算 检查检查 若不满足则改变步长，若不满足则改变步长，满足则进入下一步满足则进入下一步)2()2()2()2()3(SXX?)()()2()3(XfXf从从 出发出发 )3(X用某种优化方法确定用某种优化方法确定 )3(S确定前进步长确定前进步长 计算计算 检查检查 若不满足则改变步长，若不满足则改变步长，满足则进入下一步满足则进入下一步)3()3()3()3()4(SXX?)()()3()4(XfXf)(kX)(kS)(k第第k k个迭代点个迭代点从第从第k k个迭代点出发寻找下一个迭代个迭代点出发寻找下一个迭代点
21、的搜索方向点的搜索方向沿沿 前进的步长前进的步长)(kS基本迭代公式基本迭代公式 由于每次迭代求得的新点均为使函数值有所由于每次迭代求得的新点均为使函数值有所下降的适用点（如果不是适用点，可改变方向和下降的适用点（如果不是适用点，可改变方向和步长另行搜索适用点），则所得各点必将逐步向步长另行搜索适用点），则所得各点必将逐步向该函数的极小值点逼近，最后总可求得非常接近该函数的极小值点逼近，最后总可求得非常接近该函数理论最优点的近似最优点该函数理论最优点的近似最优点 。2 2）约束优化问题）约束优化问题 对于约束优化问题，除了检查每个新点的适对于约束优化问题，除了检查每个新点的适用性外，还要检查其
22、用性外，还要检查其可行性可行性，即是否满足，即是否满足 的约束条件，如果适用性和可行性兼备，再进行的约束条件，如果适用性和可行性兼备，再进行下一次迭代，最终自然也能求得非常接近约束最下一次迭代，最终自然也能求得非常接近约束最优点的近似最优点优点的近似最优点 。 综上所述，采用数值法进行迭代求优时，除了综上所述，采用数值法进行迭代求优时，除了选择初始点选择初始点 以外，如何确定迭代方向以外，如何确定迭代方向 和步长和步长 成为非常重要的环节，他们将直接决定着搜索的成为非常重要的环节，他们将直接决定着搜索的效率、函数值逐步下降的稳定性和优化过程所需的效率、函数值逐步下降的稳定性和优化过程所需的时间
23、等。时间等。A. A. 点距准则点距准则 根据相邻两迭代点根据相邻两迭代点 与与 间的距离足够小间的距离足够小而建立的准则，点距准则可表示为而建立的准则，点距准则可表示为或 )(kX)1( kX数值迭代终止准则（计算精度数值迭代终止准则（计算精度 的确定）的确定） B. B. 值差准则值差准则 根据相邻的两迭代点的函数值下降量足够小而根据相邻的两迭代点的函数值下降量足够小而建立的准则。建立的准则。绝对下降量准则：绝对下降量准则：相对下降量准则：相对下降量准则：C. C. 梯度准则梯度准则 根据迭代点的函数梯度达到足够小而建立的准根据迭代点的函数梯度达到足够小而建立的准则，表示为则，表示为或或迭
24、代法必须要解决的三个问题迭代法必须要解决的三个问题u 迭代算法具有收敛性；迭代算法具有收敛性；u 在收敛性前提下，选择比较好的初始点在收敛性前提下，选择比较好的初始点X(0) 和适宜的和适宜的终止判据及收敛精度终止判据及收敛精度 ；u 选取使目标函数值下降较快的迭代探索方向选取使目标函数值下降较快的迭代探索方向 S(k) 和和最优的迭代步长最优的迭代步长 (k) ，确保较快的收敛速度。，确保较快的收敛速度。如何确定如何确定S(k) 、(k) 优化方法优化方法 是以是以数学规划论数学规划论为理论基础，以为理论基础，以计算机计算机为工具的一为工具的一种现代设计方法。种现代设计方法。大多是多变量有约
25、束的非线性规大多是多变量有约束的非线性规划问题，其划问题，其是是求解多变量非线性函数的极值问题求解多变量非线性函数的极值问题。因此，因此，将介绍与此有关的一些将介绍与此有关的一些。主要介绍主要介绍的内容如下：的内容如下： 二次型与正定矩阵二次型与正定矩阵 函数的方向导数与梯度函数的方向导数与梯度 函数的泰勒近似展开式和黑塞矩阵函数的泰勒近似展开式和黑塞矩阵 无约束优化问题的极值条件无约束优化问题的极值条件 凸函数与凸规划凸函数与凸规划 约束优化问题的极值条件约束优化问题的极值条件2.2.1 二次型与正定矩阵二次型与正定矩阵在介绍在介绍优化方法优化方法时，常常是将时，常常是将二次型函数二次型函数
26、作为对象。其原因除了作为对象。其原因除了二次型函数二次型函数在工程优化问题中有在工程优化问题中有较多的应用较多的应用且且比较简单比较简单之外，还因为之外，还因为任何一个任何一个复杂的多元函数复杂的多元函数都可采用都可采用泰勒二次展开式泰勒二次展开式做局部逼近做局部逼近，使，使复复杂函数杂函数简化为简化为二次函数二次函数。因此，需要讨论有关。因此，需要讨论有关二次型函数二次型函数的问题。的问题。 1. 1. 二次型函数二次型函数所谓所谓二次型函数二次型函数是指含有是指含有 n 个实变量个实变量 x1，x2，xn的一个二次的一个二次齐次多项式函数齐次多项式函数，其，其表达式表达式为为2211 11
27、2 1 21121 2 1222222112211() nnnnnnnnnnnnnijijijf Xa xa x xa x xa x xa xa x xa x xa x xa xa x x（2-12-1）式中，式中，a aij ij ( (i i，j j = 1, 2, , = 1, 2, , n n)给定的实常数，称为给定的实常数，称为二次型的系数二次型的系数。111 11221221 122221 12211121212221212()()() () , nnnnnnnnnnnininnnnnif Xx a xa xa xx a xa xa xx a xa xa xaaaxaaaxx xx
28、aaax ,iiixxXx 111212122212 nnnnnnaaaaaaAaaa()Tf XX AX则则式式(2-2a)(2-2a)可简记为可简记为 (2-2a)(2-2a)若令若令(2-2b)(2-2b)，可写成矩阵形式，可写成矩阵形式式中，式中，矩阵矩阵A A 是由函数是由函数 f f ( (X X) ) 中中各项所含系数所组成的各项所含系数所组成的 n nn n 阶矩阵阶矩阵。若式中若式中 a aijij = = a ajiji ( ( i i, , j j = 1, 2, = 1, 2, , , n n) )为为常系数常系数，则称则称式式(2-1)(2-1)和和式式(2-2a)(
29、2-2a)为为二次型函数二次型函数或简称或简称实二次型实二次型。A A 称为称为二次型矩阵二次型矩阵，因为，因为 a aijij = = a ajiji ，所以，所以 A A = =A AT T，称为称为对称矩阵对称矩阵，因此，因此。 在采用在采用泰勒二次近似展开式泰勒二次近似展开式讨论讨论函数的极值函数的极值时，常要分析时，常要分析二次型二次型函数函数是否是否正定正定或或负定负定。二次型的正定与负定的定义二次型的正定与负定的定义简述如下：简述如下：2. 2. 正定矩阵正定矩阵如果对于如果对于任意的非零向量任意的非零向量 X X = = x x1 1, , x x2 2, , ，x xn n
30、T T，即，即x x1 1，x x2 2，x xn n不全为零，不全为零，若有若有 X XT TAX AX 0 0，则称，则称此二次型此二次型 f f ( (X X)=)=X XT TAX AX 是正定二次是正定二次 型型，其对应的，其对应的矩阵矩阵A A 称为称为正定矩阵正定矩阵；若有若有 X XT TAX AX 00，则称，则称此二次型此二次型 f f ( (X X) = ) = X XT TAX AX 为半正定二次型为半正定二次型，并称其相应的并称其相应的矩阵矩阵A A为为半正定矩阵半正定矩阵；若有若有X XT TAX AX 0 0，则点为，则点为极小点极小点；若；若 0 f Xf Xf
31、 x xf xx若若 f f (x(x1 1, x, x2 2) ) 在点在点 处处取得取得极小值极小值，则要求在点附近的一切，则要求在点附近的一切 X X 均均满足条件满足条件(*)(*)(*)12,TXxx依据依据这一条件这一条件，应有，应有 (*)(*)(*)(*)1()()()() 2Tf Xf XXXH XXX此时，此时，X X( (* *) )为极小点为极小点。为使。为使上式成立上式成立，根据，根据二次型的理论二次型的理论可知，只要可知，只要函数的二阶偏导数矩阵函数的二阶偏导数矩阵 （即即黑塞矩阵黑塞矩阵H H( (X X( (* *) ) )）必须是）必须是正正定矩阵定矩阵。 2
32、(*)()f X由此可得，由此可得，二元函数二元函数 f f ( (x x1 1, ,x x2 2) ) 在在点点 X X( (* *) ) 取得取得极小值极小值的的充分条件充分条件是：是：函数函数 f f ( (x x1 1, ,x x2 2) ) 在点在点 X X( (* *) ) 处的二阶导数矩阵（即黑塞矩阵处的二阶导数矩阵（即黑塞矩阵H H( (X X( (* *) ) )）为为正定正定。同理，同理，函数函数在在 X X( (* *) ) 处取得处取得极大值极大值的的充分条件充分条件是：是：函数函数 f f ( (x x1 1, ,x x2 2) ) 在点在点 X X( (* *) )
33、 处的黑塞矩阵处的黑塞矩阵 H H( (X X( (* *) ) ) 为为负定负定。 TnxxxX(*)(*)2(*)1(*),上述结论上述结论可推广至可推广至多元函数的极值问题多元函数的极值问题。即多元函数即多元函数 f f ( (x x1 1，x x2 2，x xn n) ) 在点在点 取得取得极小值的充分必要条件极小值的充分必要条件是：是：函数函数 f f ( (X X) ) 在该点的在该点的梯度为零梯度为零，二阶偏导数矩阵二阶偏导数矩阵（即（即黑塞矩阵黑塞矩阵H H( (X X( (* *) ) )）为正定为正定，即，即0)(*)Xf（2-172-17）（2-182-18）H H( (
34、X X( (* *) ) )正定正定TnxxxX(*)(*)2(*)1(*),同理，多元函数同理，多元函数 f f ( (x x1 1，x x2 2，x xn n) ) 在点在点取得取得极大值的极大值的是：是：函数函数 f f ( (X X) )在该点在该点的的梯度为零梯度为零，二阶偏导数矩阵为负定二阶偏导数矩阵为负定。 由于由于一个函数的极小点一个函数的极小点(局部极值点）局部极值点）并不是唯一的，而并不是唯一的，而优化问题优化问题总是期望能获得总是期望能获得函数的全域最小点（全域极值点）函数的全域最小点（全域极值点）。为此，就需知在。为此，就需知在什么情况下什么情况下所获得的所获得的极小点
35、极小点就是就是全域最小点全域最小点，这就涉及到，这就涉及到凸集凸集、凸函凸函数数与与凸规划问题凸规划问题。2.2.5 2.2.5 凸函数与凸规划凸函数与凸规划1. 1. 凸集凸集设设 D D 为为 n n 维欧氏空间维欧氏空间R Rn n中的中的一个集合一个集合。如果在。如果在D D内内任取两任取两点点X X (1)(1)和和X X (2)(2)，其连线上的，其连线上的所有点均在所有点均在D D内，则称内，则称这种集合这种集合D D为为 n n 维欧氏维欧氏空间空间R Rn n 的的一个凸集一个凸集。图图2-5(a)2-5(a)、(c)(c)是是二维空间的一个凸集二维空间的一个凸集；图图2-5
36、 (b)2-5 (b)是是非凸集非凸集。图图2-5 2-5 凸集与非凸集凸集与非凸集 X X (1)(1)、X X (2)(2)两点之间的两点之间的连线连线，可用，可用数学式数学式表达为表达为（2-192-19）(1)(2)(1)XXXD式中，式中，为由为由0 01(01(01)1)间的间的任意实数任意实数。即对。即对00，11上一切上一切值值得到的得到的点点 X X 的全体组成的全体组成X X (1)(1)、X X (2)(2) 点点 的连线的连线。则则凸集凸集的数学定义式的数学定义式为为X (1)，X (2) DX =X (1) + (1一一) X (2) D，01且且凸函数凸函数的数学定
37、义的数学定义如下：如下：设设 f (X)为定义在凸集为定义在凸集D上的一个函数，上的一个函数，X (1)、X (2) 为为D 上的任意上的任意两点，若对于任意实数两点，若对于任意实数(01)恒有恒有2. 2. 凸函数凸函数(1)(2)(1)(2)(1)()(1) ()fXXf Xf X（2-202-20）则称则称 f f ( (X X) )为为凸集凸集D D上的上的凸函数凸函数。若若式式(2-20)(2-20)中的中的 “” “” 为为 “ “”，则称，则称 f f ( (X X) )为为严格凸函数严格凸函数；若若式式(2-20)(2-20)中不等号反向，即中不等号反向，即 “” “” 为为
38、“” “” ，则称，则称 f f ( (X X) )为为D D上的上的凹函数凹函数。 凸函数凸函数的的几何意义几何意义可用可用一元函数一元函数情形说明，如情形说明，如图图2-62-6所示，若所示，若函数函数 f f ( (X X) )在区间在区间 a a, , b b 内为内为凸函数凸函数，则，则函数函数 f f ( (X X) )曲线上任意两点所连的曲线上任意两点所连的直线直线不会落在不会落在曲线弧线曲线弧线以下。以下。图图2-6 2-6 凸函数的几何意义凸函数的几何意义：(1)设设 f (X)为定义在为定义在凸集凸集D上的一个上的一个凸函数凸函数，则对于，则对于任意实数任意实数( 0)，则
39、，则函数函数 f (X)在在凸集凸集上也是上也是凸函数凸函数；(2)设设 f1(X)和和 f2(X)为定义在为定义在凸集凸集D上的上的两个凸函数两个凸函数，则，则 f1(X)和和 f2(X)的的线性组合函数线性组合函数 f(X) = f1(X) + f2(X)在在D上也是上也是凸函数凸函数； (3)若若 f(X)为定义在为定义在凸集凸集D上的上的函数函数，且存在连续二阶导数，则，且存在连续二阶导数，则 f(X)为为D上的上的凸函数的充要条件凸函数的充要条件是：是： f (X)的的黑塞矩阵黑塞矩阵H(X)处处是半正处处是半正定定的。若的。若黑塞矩阵黑塞矩阵H(X)对一切对一切XD都都正定正定，则
40、，则 f(X)是是D上的上的严格凸函严格凸函数数。利用以上性质利用以上性质，就可以判别，就可以判别。如果如果 f f( (X X) )是凸集是凸集D D上的上的凸函数凸函数，并且在，并且在D D内有内有极小点极小点，则，则极小极小点是唯一的点是唯一的。3. 3. 凸规划凸规划对于约束优化问题对于约束优化问题min min f f ( (X X) ) X XR Rn ns s. .t t. . g gu u ( (X X) 0,) 0,u u = 1, 2, , m = 1, 2, , m如果如果目标函数目标函数 f f( (X X) )和和所有的不等式约束所有的不等式约束g gu u( (X
41、X)0)0（u u =1,2, m=1,2, m）均）均为为凸函数凸函数，则称，则称此约束优化问题此约束优化问题为为凸规划凸规划。并需指出的是，如果不等。并需指出的是，如果不等式约束的形式为式约束的形式为g gu u( (X X)0)0，则，则 g gu u ( (X X) )（u u =1,2, m=1,2, m）应为）应为凹函数凹函数。为：为：凸规划的任何局部极小解一定是凸规划的任何局部极小解一定是全域最优解全域最优解。 因此，对于因此，对于凸规划问题凸规划问题，只要求出，只要求出一个局部极小解一个局部极小解，它就是全它就是全域最优解域最优解。 所以，所以，优化理论与方法优化理论与方法常限
42、于讨论常限于讨论。需要指出的是需要指出的是，实际工程优化问题实际工程优化问题往往往往不是凸规划问不是凸规划问题题。所以，采用所以，采用常用的优化方法常用的优化方法，求得的最优解求得的最优解往往是往往是局局部最优解部最优解。而且，对于一个复杂的工程优化问题，往往。而且，对于一个复杂的工程优化问题，往往难难以判断以判断其是否为凸规划问题。其是否为凸规划问题。为此，在采用为此，在采用迭代方法求解迭代方法求解时，常从时，常从多个初始点多个初始点出发，出发，进行不同的迭代，以求得多个局部极小点，然后比较这些进行不同的迭代，以求得多个局部极小点，然后比较这些局部极小点，最后得到一个局部极小点，最后得到一个
43、近似全域极小点近似全域极小点，作为该，作为该问题问题的最优解的最优解。2.2.6 2.2.6 约束优化问题的极值条件约束优化问题的极值条件求解求解约束优化问题约束优化问题min(), . . ()0 (1,2,) ()0 (1,2, )nuvf XXRst gXumh Xvp的实质的实质就是在所有的就是在所有的约束条件约束条件所形成的所形成的可行域内可行域内，求得，求得目标函数的目标函数的，即，即。因而因而约束优化问题约束优化问题比比无约束优化问题无约束优化问题更为复杂。更为复杂。约束优化问题的约束优化问题的极值点极值点可能出现可能出现两种情况两种情况：一种一种是如是如图图2-7(a)2-7(
44、a)所示，即所示，即目标函数目标函数的的极值点极值点X X * * 处于处于可行域可行域 D D之内之内，故，故目标函数的极值点目标函数的极值点X X * *即为即为该约束优化问题的该约束优化问题的极值点极值点；另一种另一种如如图图2-7(b)2-7(b)所示，即某约束边界所示，即某约束边界 g g i i ( (X X) = 0 ) = 0 将将目标函数目标函数的自然极值点的自然极值点隔到隔到可行域可行域 D D之外之外，因此这时，因此这时约束优化问题的极值点约束优化问题的极值点不不是是目标函数的目标函数的自然极值点自然极值点，而是，而是该约束边界该约束边界g g i i ( (X X) =
45、 0 ) = 0 与与目标函数目标函数等值线的等值线的切点切点X X * *。 图图2-7 2-7 约束优化问题极值点约束优化问题极值点(a)(a)极值点在可行域内极值点在可行域内 (b)(b)极值点在可行域的边界上极值点在可行域的边界上 min (). . ()0 (1,2, )vf Xst h Xvp1(, )()()pvvvL Xf Xh X由由高等数学高等数学可知，对于可知，对于等式约束优化问题等式约束优化问题可建立如下可建立如下拉格朗日函数拉格朗日函数 (2-21)(2-21)(2-22)(2-22)12,Tn *(, )0L X*1()()0 (1,2, ,; )pvvvvf Xh
46、 Xvp pn不全为零式中，式中， 为为拉格朗日乘子向量拉格朗日乘子向量。令令 ，得，得(2-23)(2-23)式式(2-23)(2-23)就是就是等式约束等式约束问题在点问题在点 X X * * 取得极值的取得极值的必要必要条件条件。式式(2-23)(2-23)的的几何意义几何意义可可以解释以解释为：在等式约束的极为：在等式约束的极值点上，目标函数的负梯度值点上，目标函数的负梯度等于诸约束函数梯度的线性等于诸约束函数梯度的线性组合。组合。如如图图2-82-8所示，在两个等所示，在两个等式约束的交线式约束的交线 E E上的上的点点X X * *，约束函数的梯度与目标函数约束函数的梯度与目标函数
47、的梯度共面，因此的梯度共面，因此，故，故X X * *就是就是极值点极值点。图图2-82-8等式约束问题的极值条件等式约束问题的极值条件 min (). . ()0 (1,2,)uf Xst gXum0(1,2,)n uxum2min (). . ()0 (1,2,)un uf Xst gXxum21(, ,)()()muun uuL XXf XgXx对于对于不等式约束不等式约束优化问题优化问题引入引入 m m个个松弛变量松弛变量，可将上面的，可将上面的不等式约束不等式约束优化问题优化问题变成变成(2-24)(2-24)(2-25)(2-25)建立建立这一问题这一问题的的拉格朗日函数拉格朗日函
48、数式中，式中， 为为松弛变量组成的松弛变量组成的向量向量。12,Tnnn mXxxx注意到注意到约束条件约束条件为为 “ “” ” 的形式，可知约束函数的梯度方向的形式，可知约束函数的梯度方向指向可行域外，为满足指向可行域外，为满足 ， 必须必须大于零大于零；而当；而当 时，有时，有 和和 ，这说明，这说明点点 X X 在在可行域内可行域内。 式中，当式中，当 时有时有 和和 ，这，这说明点说明点 X X 在约束边界上，在约束边界上， 为点为点 X X 的的起作用约束起作用约束。 (, , )0L XX12()()0()020 (1,2,)muuuun uuun un uLf XgXXLgXx
49、Lxumx 则有则有(2-26)(2-26)0u0n ux()0ugX ()0ugX 0LX， u0u0n ux()0ugX 令令该拉格朗日函数的该拉格朗日函数的梯度等于零梯度等于零，即使，即使()0()ikg XiI*()()0 0 ()kiii Iikf Xg XiI设设 为点为点 X X * * 的的 n n 个起作用约束个起作用约束，且且 X X * * 是极值点，则由是极值点，则由式式(2-26)(2-26)及其分析可知，必有及其分析可知，必有（2-272-27）*()0f X0i式式(2-27)(2-27)就是就是不等式约束优化问题的不等式约束优化问题的极值条件极值条件，称，称Ku
50、hn-TuckerKuhn-Tucker条件条件，简称，简称 K K- -T T条件条件。该条件表明该条件表明，若，若设计点设计点 X X * *是是函数函数 f f ( (X X) )的极值点的极值点，要么，要么 （ 如如图图2-92-9所示，此时所示，此时 ），要么），要么目标函数的负梯度目标函数的负梯度位于位于诸起作用约束梯度所构成的诸起作用约束梯度所构成的夹角夹角或或锥体之内锥体之内。 *()f X*()ig X0i也就是说也就是说，目标函数的负梯度等于诸起作用约束梯，目标函数的负梯度等于诸起作用约束梯度度 的的 非负线性组合（如非负线性组合（如图图2-102-10所所示，此时示，此时
