1、第2章 优化设计的数学基础2.1 目标函数的泰勒表达式现代设计方法第2章 优化设计的数学基础2重庆大学机械工程学院 当目标函数为一元函数时当目标函数为一元函数时，由泰勒公式知：若函数 在含有 点的某个开区间 内具有直到 阶导数，则当 在 内时，可以表示为 的一个 次多项式与一个余项 的和：()f x0 x(,)a b)1(nx(,)a b()f x0()xxn()nRx 在实际计算中忽略二阶以上的高阶微量，只取前三项，则目标函数可近似表达为或 2000001()()()()()()2f xf xfxxxfxxx200000()00()()()()()()1!2!()()!nnnfxfxf xf
2、 xxxxxfxxxRn20001()()()()()()2f xf xf xfxxfxx 3重庆大学机械工程学院现代设计方法第2章 优化设计的数学基础 当目标函数为多元函数时当目标函数为多元函数时，在满足一定条件下，目标函数 在点 附近也可以展开成泰勒多项式，一般只取前三项，其形式与一元函数展开式的前三项相似，即 （2-1）此式称为函数 的泰勒二次近似式。其中，是由函数在点 的所有二阶偏导数组成的矩阵，称为函数 在点 的二阶偏导数矩阵或海赛（Hessian）矩阵，经常记作 。二阶偏导数矩阵的组成形式如下：（2-2）()f X)(kX()()()()2()()()()()1 ()2kkTkkT
3、kkf Xf Xf XXXXXf XXX()f X2()()kf X(0)X()f X()kX()()kH X2()2()2()211212()2()2()()2()221222()2()2()212()()()()()()()()()()()kkknkkkkknkkknnnf Xf Xf Xxx xx xf Xf Xf XH Xf Xx xxx xf Xf Xf Xx xx xx 4重庆大学机械工程学院现代设计方法第2章 优化设计的数学基础 例2-1 用泰勒表达式展开的方法将函数 在点 简化成二次函数。解：分别求函数在点 的函数值、梯度和海赛矩阵122213231933)(xxxxxXf(1
4、)1,1TX(1)X(1)2(1)112122112(1)12111(1)22()30369()336660120()066001111f Xxxf Xxxxf XxxxXXxx 5重庆大学机械工程学院现代设计方法第2章 优化设计的数学基础 求展开式的二次项 代入式（2-1）得简化的二次函数 将 代入简化所得的二次函数中，其函数值也等于-3，与原函数在点 的值相等。(1)2(1)(1)1212121 ()2112011 16(1)0012TXXf XXXxxxxx(1)(1)(1)(1)2(1)(1)2212112()()()1 ()2 366(1)6123TTf Xf Xf XXXXXf X
5、XXxxxxx(1)1,1TX(1)X6重庆大学机械工程学院现代设计方法第2章 优化设计的数学基础 2.2 函数的方向导数和梯度 我们需要研究寻找极值点的途径，即研究在设计空间中沿什么方向才能迅速地越过不同的等值线达到等值线族的中点极值点。显然，函数值下降最大的方向才是向极值点逼近最快的方向。为此，首先应研究函数的变化率。2.2.1方向导数方向导数 由多元函数的微分学知，对于一个连续可微多元函数 ，在某一点 的一阶偏导数为 （2-4）简记为 （2-5）()f X()kX()()()12()()(),kkknf Xf Xf Xxxx()(),1,2,kif Xinx7重庆大学机械工程学院现代设计
6、方法第2章 优化设计的数学基础 它即是该函数 在 点沿各坐标轴 这些特定方向的变化率。现在以二元函数 为例，求其沿任一方向 S 的函数变化率，设 S 与两坐标轴之间的夹角分别为 ，如图2-1所示。该二元函数 在点 沿任意方向S的变化率可用函数在该点的方向导数表示，记作 2-1 函数的变化率ox1x2x1x212SX(k+1)X(k)()f X()kX(1,2,)ix in12(,)f x x12,a a12(,)f x x()kX12()()()0()()()()1122120()()()()11221221010()()()lim(,)(,)lim(,)(,)lim kkkSkkkkSkkk
7、kxxf Xf XSf XSSf xx xxf xxSf xx xxf xxxxxS ()()()()1221222()()1212(,)(,)()()coscoskkkkkkf xxxf xxxxSf Xf Xxx（2-6）8重庆大学机械工程学院现代设计方法第2章 优化设计的数学基础 同理，可以推导出多元函数 在 点沿方向 S 的方向导数为 式中 为函数 对坐标轴 的偏导数；为 S 方向的方向余弦。式（2-7）表明，在同一点，函数沿不同的方向的方向导数值是不等的，亦即函数沿不同的方向上有不同的变化率。我们把函数在某点沿某给定方向的变化率称为函数在该点沿此方向的方向导数，其值为正，表明函数在该
8、点沿此方向增加；为负，则减小。()f X()kX()()()()1212()1()()()()coscoscos()coskkkknnkniiif Xf Xf Xf XSxxxf Xx（2-7）)()/kif Xx()f Xixcos/iixS 9重庆大学机械工程学院现代设计方法第2章 优化设计的数学基础2.2.2 梯度梯度将代数式（2-6）写成矩阵形式，则有令 （2-8）则方向导数 可用矢量的内积形式表示如下：（2-9）由（2-9）知：方向导数等于梯度在该方向的投影 ()()()1212()()1212()()()coscoscos()()coskkkkkf Xf Xf XSxxf Xf X
9、xx()11()()22()cos(),cos()kkkf Xxf XSf Xx)()kf XScos)()()()()()(SXfSXfSXfKTKK1S 10重庆大学机械工程学院现代设计方法第2章 优化设计的数学基础 梯度的概念可以推广到多元函数中去，对于 n 元函数 ，梯度可记为 它是一个向量，沿此方向函数的变化率最大，亦即梯度 的方向是函数 的最速上升方向，负梯度 则为函数 的最速下降方向。分析式（2-9）中的取值对方向导数 影响，可知，在设计空间中，凡是与梯度方向成锐角的方向函数值都增加；凡是与梯度方向成钝角的方向函数值都减小；梯度 的方向为函数 f(X)过 X(k)点的等值线（或等
10、值面）的外法线方向。()f X12()()()(),Tnf Xf Xf Xf Xxxx（2-12）()f X()f X()f X()f X)()/kf XS()f X图2-2 梯度方向与等值线的关系 图2-3 方向导数与等值面的关系ox1x2变化率为零的方向下降方向上升方向最速上升方向X(k)f(x(k)f(x(k)-最速下降方向f(k)f(X)=011重庆大学机械工程学院现代设计方法第2章 优化设计的数学基础 例2-2 求函数 在点 处函数变化率最大的方向和数值。解：由于函数变化率最大的方向是梯度方向，这里用单位向量 表示，函数变化率最大的数值是梯度的模 。则由梯度的定义式可求得2212()
11、(2)(1)f Xxx(1)0 0TXp(1)()f X242242)()()()1()1(2121)1(XXxxxXfxXfXf(1)()f X22(1)2212()()()422 5f Xf Xf Xxx(1)(1)42()1121()2 55f Xpf Xp的模为该梯度的单位向量 为重庆大学机械工程学院12现代设计方法第2章 优化设计的数学基础 2.3 无约束优化问题的极值条件 无约束优化问题求解的实质是求解目标函数 在 维空间 中的极值点和极值。对于任何一个单值、连续并可微的一元函数 ，在点 取得极值的必要条件是函数在该点的一阶导数为零，充分条件是对应的二阶导数不为零，即 当 时，则函
12、数 在点 取得极小值；当 时，则函数 在点 取得极大值。其极值点和极值分别记作 和 。与此相似，多元函数 在点 取得极值的必要条件是函数在该点的所有一阶偏导数都分别为零，即函数在该点的梯度为零()f XnnR()f x()kx()()0kfx()()0kfx()()0kfx()f x()f x()kx()kx()()0kfx*()kxx*()ff x()f X()kX()()0kf X重庆大学机械工程学院13现代设计方法第2章 优化设计的数学基础 把函数在点 展开成泰勒表达式，并将上式代入，整理得 当 为函数的极小点时，有 ，故必有 根据线性代数的二次型有关知识，上式说明函数的二阶导数矩阵必须
13、是正定的，这就是多元函数极小值的充分条件。故，多元函数在点 取得极小值的充分必要条件是：函数在该点的梯度为零，海赛矩阵（二阶导数矩阵）正定，即 反之，多元函数在点 取得极大值的充分必要条件是：函数在该点的梯度为零，海赛矩阵负定。一般说来，式（2-14）对求解优化问题只有理论上的意义。因为就实际问题而言，由于目标函数比较复杂，海赛矩阵不容易求得，其正定性的判断就更加困难。()kX()()2()()1()()()2kkTkkf Xf XXXf XXX()kX()()()0kf Xf X()2()()()0kTkkXXf XXX()kX*()0f X2*()f X()kX为正定（2-13）（2-14
14、）现代设计方法第2章 优化设计的数学基础重庆大学机械工程学院14 例2-3 求函数 的极值。解：根据极值存在的必要条件22121212(,)425f x xxxxx12()()(),0Tf Xf Xf Xxx11()240f Xxx22()220f Xxx联立求解得驻点 。*2,1TX 重庆大学机械工程学院15现代设计方法第2章 优化设计的数学基础现考察该驻点是否满足极值点的充分条件，函数在该点的海赛矩阵*222112*222212()()20()02()()xf Xf Xxx xH Xf Xf Xx xx (0)2121()20 xf XAx2204002A*()H X 的各阶主子式均大于零
15、，故 为正定矩阵，由极小值存在的充分条件可知，是严格极小点，为函数的极小值。的一阶主子式的二阶主子式*()H X*()H X*()H X*2,1TX*()0f X重庆大学机械工程学院16现代设计方法第2章 优化设计的数学基础2.4 约束优化问题的极值条件x1x2og1(X)=0g3(X)=0g2(X)=0(a)g4(X)=0 x1x2og1(X)=0g2(X)=0(b)图2-4 约束优化问题的极值点（a）极值点在可行域内 （b）极值点在可行域的边界上重庆大学机械工程学院17现代设计方法第2章 优化设计的数学基础2.4.1 等式约束的极值条件等式约束的极值条件min()f X.()0 (1,2,
16、)vs th Xvp 对这一问题，数学上有两种处理方法：消元法（降维法）（降维法）和拉格朗日乘子法（升维法），（升维法），可建立如下拉格朗日函数 式中，向量 为拉格朗日乘子向量，其每一个分量为一个朗日乘子，拉格朗日乘子的个数等于等式约束的个数。数学上可以证明，(2-15)式所示的(n+p)维无约束优化问题的极值点即为其对应的等式约束优化问题的极值点。1(,)()()pvvvL Xf Xh X12,Tn（2-15）*(,)0L X不全为零vPvvvnppvXhXf;,2,1(0)()(*1*（2-16）令得重庆大学机械工程学院18现代设计方法第2章 优化设计的数学基础 这就是等式约束问题在点 取
17、得极值的必要条件。此式的几何意义可以解释为：在等式约束的极值点上，目标函数的负梯度等于诸约束函数梯度的线性组合。如图2-5。*XPEh1(X)=0h2(X)=0h2()Xh1()Xf()X图2-5 等式约束问题的极值条件 重庆大学机械工程学院19现代设计方法第2章 优化设计的数学基础2.4.2不等式约束的极值条件不等式约束的极值条件对于不等式约束优化问题min()f X.()0 (1,2,)us tgXum 引入m个变量 ，可将上面的不等式约束优化问题变成如下等式约束优化问题(1,2,)n uxummin()f X2.()0 (1,2,)un us tgXxum21(,)()()muun uu
18、L XXf XgXx12,Tnnn mXxxx 建立这一等式约束求极值问题的拉格朗日函数 式中，为松驰变量组成的向量。PEh1(X)=0h2(X)=0h2()Xh1()Xf()X图2-5 等式约束问题的极值条件 现代设计方法第2章 优化设计的数学基础重庆大学机械工程学院20令该拉格朗日函数的梯度等于零，即则有(,)0L XX1()()0muuuLf XgXX 2()0un uuLgXx20 (1,2,)un un uLxumx 上式存在两种情况：1）当 时，有 ，这说明极值点 在可行域内，约束不起作用；2）而当 时，必有 和 ，这说明极值点 在约束边界上（函数自然极值点在可行域之外），为起作用
19、约束。由于约束条件为“”的形式，可知约束函数的梯度方向指向可行域外（即约束函数值增大的方向），为满足 ，必须大于零。0u()0f XX0u()0ugX 0n uxX()0ugX 00LXu现代设计方法第2章 优化设计的数学基础重庆大学机械工程学院21 设 为在点 处的起作用约束，且 是极值点，则由上式及其分析可知：这就是不等式约束优化问题的极值条件，称为库恩塔克（Kuhn-Tucker）条件，简称K-T条件。该条件表明，目标函数在约束极值点的负梯度 等于在该点起作用约束函数的梯度 的非负线性组合（如图2-7所示，此时 ）。()0()jkgXjJ*X*X)(00)()(*kjJjjjJjXgXf
20、k*()f X*()jgX0j（2-18）x1x2og1(X)=0g2(X)=0g1()Xg2()Xx1x2og1(X)=0g2(X)=0g1()Xg2()Xf()X图2-6 极值点处目标函数的梯度为零图2-7 极值点处目标函数的梯度不为零现代设计方法第2章 优化设计的数学基础重庆大学机械工程学院22 例2-4 试用库恩塔克条件判断点 是否为如下优化问题的极值点。*1,0TX 22212min()(2)f XxxXR11.()0stg Xx 22()0gXx 2312()10gXxx 解：（1）在设计空间中画出该优化问题的目标函数等值线和可行域图。根据目标函数和约束条件，画出表示该问题的可行域
21、D和目标函数 的一些等值线图，如图2-8所示。()f X图2-8 例2-4的极值点判断x1x2o1.01.00.50.5f(X)=5g2(X)=0g3(X)g1(X)=0f(X)=1f(X)=2.25g2(X)f(X)现代设计方法第2章 优化设计的数学基础重庆大学机械工程学院23 （2）分析约束条件。由图2-8可见，在点 处起作用的约束有两个，和 。（3）计算 ，和 在点 处的梯度。*1,0TX 2()gX3()gX2()gX3()gX*X()f X*1*22(2)2()20Xxf Xx*200()11XgX*1*322()11XxgX 现代设计方法第2章 优化设计的数学基础重庆大学机械工程学
22、院24 （4）将 、代入库恩塔克条件*()f X*2()gX*3()gX*2233()()()f XgXgX23202011 得 求解得:，均非负，满足库恩塔克条件，故点 即为该约束优化问题的极值点。2131*1,0TX 必须指出，库恩塔克条件是多元函数取得约束极值的必要条件，既可以用来作为约束极值点的判别条件，又可以用来直接求解比较简单的约束优化问题。但K-T条件不是多元函数取得约束极值的充分条件。只有当目标函数 是凸函数，且所有约束函数 也都是凸函数，即为凸规划问题时，K-T条件才是极值存在的充分必要条件。对于目标函数为凸函数，可行域D为凸集的规划问题（凸规划问题）而言，局部极值点与全局最优点是重合的，符合K-T条件的点就是全局最优点。但是，对于非凸规划问题则不然。对于非凸规划问题来说，判断一个极值点是局部极值点还是全局最优点有时是困难的。在优化设计实践中，常常采用从几个不同的初始点开始探索的方法，来检验它们是否收敛到同一个极值点。如果最后都收敛到同一个极值点，则它就是全局最优点；如果最后得到的是不同的极值点，则要比较这些点的函数值，再从中找出最优点。关于凸函数、凸集和凸规划的有关概念以及函数凸性的判断，限于篇幅，我们不作更多介绍，请参阅有关专著。()f X()0ugX 现代设计方法第2章 优化设计的数学基础
