1、机械优化设计 机电工程学院 机械制造及其自动化教研室 高自成第二章优化设计的数学基础 第一节 多元函数的方向导数与梯度 一、方向导数 即函数f（x1,x2）在点x0(x10,x20)点处沿某一方向d的变化率，定义为：01012021020 xd0f xx,xxf x,xflimdd 第一节 多元函数的方向导数与梯度 方向导数与偏导数的关系：0001212coscosxxxfffdxx第一节 多元函数的方向导数与梯度 二、二元函数的梯度 二元函数 f(x1,x2)在点x0处的方向导数01000201200cos12cos121212120coscosf x,xxxxxxxfxxfxxxfdfff
2、ffdxxxxfff xxx的表达式可以改写为下面的形式并称它为函数在点 的梯度二、二元函数的梯度 设d为方向单位向量 则有12coscosd0000000cos,cos,dTxTxff xddff xdf xf ddf xf xf d 把向量内积写出向量投影形式代表向量的模，表示梯度向量与 方向夹角的余弦。二、二元函数的梯度 梯度方向为等值线的法线方向，也是函数值变化最快的方向，梯度的模就是函数变化率的最大值。梯度方向与等值线的关系三、多元函数的梯度和方向导数 将二元函数推广到多元函数，则对于多元函数f（x1，x2，xn）在点x0（x10，x20，x1n）处的梯度 多元函数的方向导数：120
3、12,Tnnfxffffxf xxxxfx00001cos|cos,nTxxiiifff xdf xf ddx 三、多元函数的梯度和方向导数12coscoscosnd为d方向的单位向量01201000|niixff xxf xpf x为梯度的模为梯度方向单位向量，它与函数等值面相垂直，也就是和等值面上过的一切曲线相垂直第二节 多元函数的泰勒展开 一元函数的泰勒展开为 二元函数f（x 1，x2）在点x0（x10，x20）处的泰勒展开式为 200012f xf xfxxfxx 00000112102012122222211222212211102220,122,xxxxxfff x xf xxxx
4、xxfffxxxxxx xxxxxxxx 其中第二节 多元函数的泰勒展开 把上述式子写成矩阵形式 01021222211211222222120002221121022222121212,xTTxfff xf xxxxffxx xxxxxffx xxf xf xxx G xxffxx xxG xxxffx xx 第二节 多元函数的泰勒展开处的二阶泰勒公式在点12524,2010021222121xxxxxxxxxf求二元函数 0000020,102,121xxxGxxxxxfxxfxxfTT第二节 多元函数的泰勒展开将二元函数推广到多元函数时，则f（x1，x2，xn）在点x0泰勒展开式的矩阵形
5、式为 0000000122222112122220212222221212fxxfxTTTnxnnnnnxf xf xf xxx G xxffff xxxxfffxx xx xfffG xx xxx xfffxxxxx 为函数（）在点处的梯度为函数（）0 x在点处的海赛矩阵第三节 无约束优化问题的极值条件 1.一元函数的极值条件：2.二元函数的极值条件：对于二元函数f（x1，x2），若在x0（x10，x20）处取得极值，其必要条件是0012000 xxffxxf x或2.二元函数的极值条件 二元函数极值的充分条件：0222221210201122211221,22xffff x xf xxxx
6、xxxx xx 000222221122,xxxfffABCxx xx 22121020112222210201221,221,2f x xf xxA xB xxC xf xxA xB xACBxA 设则 二元函数极值的充分条件：若f（x1，x2）在x0点处取得极小值，则要求在点x0点附近的一切点x均须满足 0012102022212222212222221212,01()020,00 xxf x xf xxA xB xACBxAAACBfxfffxxx x 即要求或要求即 二元函数极值的充分条件：上述条件反映了f（x1，x2）在x0点处的海赛矩阵G（x0）的各阶主子式均大于零，即对于0002
7、221120222211221222112022221100 xxxffxx xG xffx xxfxffxx xG xffx xx 要求 二元函数极值的充分条件：对于多元函数f（x1，x2，xn），若在x*取得极值，则极值的必要条件为*120Tnxffff xxxx极值的充分条件为22221121222*22122222212nnnnnfffxx xx xfffG xx xxx xfffxxxxx 正定第四节 凸集、凸函数与凸规划 优化问题一般是要求目标函数在某一区域内的最小点，也就是要求全局的极小点，一元函数的凸性第四节 凸集、凸函数与凸规划一、凸集 一个点集（或区域），如果连接其中任意两
8、点x1和x2的线段都全部包含在该集合内，就称该点集为凸集。否则称为非凸集。用数学语言表述为：如果对于一切x1R，x2R及一切满足01的实数，点x1+（1-）x2yR，则称集合R为凸集。凸集可以是有界的，也可以是无界。N维空间中的r维子空间也是凸集。第四节 凸集、凸函数与凸规划 凸集具有以下性质：若A是一个凸集，是一个实数，是凸集中的一个动点，即A，则集合 A=X：X=，A 还是凸集。第四节 凸集、凸函数与凸规划 若A和B是凸集，a、b分别是凸集A、B中的动点，即a A，b B，则集合 A+B=X：X=a+b，a A，b B 还是凸集。任何一组凸集的交集还是凸集。凸集的性质第四节 凸集、凸函数与
9、凸规划 二、凸函数 函数f（x），如果在连结其凸集定义域内任意两点x1、x2的线段上，函数值总小于或等于用f（x1）及f（x2）作线性内插所得的值，那么称f（x）为凸函数。用数学语言表述为 fx1+（1-）x2fx1+（1-）f x2 其中 0 1若上两式均去掉等号，则称为严格凸函数。凸函数的定义第四节 凸集、凸函数与凸规划 凸函数的一些简单性质 设f（x）为定义在凸集R上的一个凸函 数，对任意实数0，则函数 f（x）也是定义在R上的凸函数。设f1（X）和f2（X）为定义在凸集R上的两个凸函数，则其和f1（X）+f2（X）也是R上的凸函数。对于任意正数和，函数 f1（X）+f2（X）也是在R上
10、的凸函数。第四节 凸集、凸函数与凸规划 三、凸性条件 设f（x）为定义在凸集R上，且具有连续一阶导数的函数，则f（x）在R上为凸函数的充分必要条件是对凸集R内任意不同两点x1，x2，不等式 恒成立 21211Tf xf xxxf x设f（x）为定义在凸集R上连续二阶导数的函数，则 f（x）在上为凸函数的充分必要条件是海赛矩阵G（x）在R上处处正定。第四节 凸集、凸函数与凸规划 四、凸规划 对于约束优化问题 minf（x）s.t.gj（x）0 j=1，2，m若f（x），gj（x）j=1，2，m都为凸函数，则称此问题为凸规划。第四节 凸集、凸函数与凸规划 凸规划的性质1.若给定一点x0，则集合R=
11、x|f（x）f（x0）为凸集。此性质说明，当f（x）为二元函数时，其等值线呈现大圈套小圈的形式。2.可行域R=x|gj0 j=1，2，m为凸集3.凸规划的任何局部最优解就是全局最优解。第五节 等式约束优化问题的极值条件 求解等式约束优化问题 minf（x1 x2）s.t.hk（x）=0，k=1，2，m需要导出极值存在的条件，这是求解等式约束优化问题的理论基础。在数学上有两种方法处理：消元法（降维法）和拉格朗日乘子法（升维法）。一、消元法 二、拉格朗日乘子法 求解等式约束的另一种经典方法，它是通过增加变量将等式约束优化问题变成无约束优化问题，所以又称升维法。第五节 等式约束优化问题的极值条件二、
12、拉格朗日乘子法（就是把约束极值条件转化为无约束问题的极值）对于具有l个约束的维优化问题 minf（x）s.t.hk（x）=0，k=1，2，l 在极值点x*有*1*1001,2,niiinkkiiifdf xdxf xdxxhdhxdxf xdxklx 10nkiiihdxx10niiifdxx121210nlliiiiiihhhfdxxxxx相加，得可以通过其中l个方程12120lliiiihhhfxxxx来求解l个1，2 l，使得l个变量的微分dx1，dx2 dxl系数全为零。（式2-10)（式2-11)第五节 等式约束优化问题的极值条件 式2-10的等号左边就只剩下n-l个变量的微分的dx
13、l+1，dxl+2，dxn的项。1212121201,2,01,2,lljjjjlljjjjhhhfxxxxjllnhhhfinxxxx 121210nlljj ljjjjhhhfdxxxxx 所以（2-13）将2-10和2-13合并得第五节 等式约束优化问题的极值条件 根据目标函数的无约束极值条件0(1,2,)ifinx 则上述问题的约束极值条件可以转换成无约束的极值条件。办法是把原来的目标函数f(x)改造成如下形式的新的目标函数。1,lkkkF xf xhx 式中hk（x）就是原目标函数f（x）的等式约束条件，而待定系数k成为拉格朗日乘子，F（x，）成为拉格朗日函数。这种方法就叫拉格朗日乘
14、子法。第五节 等式约束优化问题的极值条件拉格朗日乘子法：设 ，目标函数是f（x），约束条件是hk（x）=0（k=1，2，l）l个等式约束方程，为了求出f（x）的可能极值点 引入拉格朗日乘子并构成一个新的目标函数11,nxx xx*121,Txx xx1,2,kkl 1,lkkkF xf xhx 把F（x，）作为一个新的无约束条件的目标函数来求解它的极值点，所得的结果就是满足约束条件hk（x）=0（k=1，2，l），原目标函数f（x）的极值点。自F（x，）具有极值的必要条件*12,nxx xx01,2,01,2,iiFinxFn第五节 等式约束优化问题的极值条件拉格朗日乘子法可以用另一种方式表示如下：设x*是目标函数f（x）是在等式约束 hk（x）=0条件下的一个局部极值点，而且在该点处各约束函数的梯度 hk（x*）（k=1，2，l）是线性无关的（符合此条件的点称为正则点），则存在一个向量（在一个约束函数规定的值内），使下式成立 F=F=f f（x x）+T T hk（x*）=0式中T T=1，2，l hk（x*）T=h1（x*），h2（x*），hl（x*）第五节 等式约束优化问题的极值条件 1122,00F xf xh xfhxxfhxx)2,1(ixhxfii所以所以
