1、5 无约束优化方法5.1 无约束优化方法简介5.2 最速下降法5.3 共轭方向法5.4 坐标轮换法5.5 单形替代法15.1 无约束优化方法的简介n研究无约束优化方法的意义p无约束优化方法是优化设计方法的基本组成部分,也是优化方法的基础。p通过对无约束最优化方法的研究,可为研究有约束问题提供良好的概念基础。p约束优化问题的求解可以通过一系列无约束优化方法来实现。n无约束优化问题基本解法p解析解法:利用无约束优化问题的极值条件,适用于目标函数简单的情况。p数值解法:按照定的逻辑结构进行反复的迭代数值计算,获得具有足够精度的近似解。适用于数学描述复杂和无法用数学方程描述的问题。2(1)()()k+
2、kkkxxd基本思想:最佳步长(一维搜索)搜索(迭代)方向,(由目标函数和约束条件的局部信息状态形成,分类的关键)5.1 无约束优化方法的简介n无约束优化方法的分类p依据:构成搜索方向和所使用信息性质p两类:3间接法:(利用目标函数一、二阶导数)最速下降法共轭梯度法牛顿法变尺度法直接法:(利用目标函数值)坐标轮换法单行替代法鲍威尔法无约束极小值算法基本框图5.2 最速下降法n基本原理4(1)()()kkkfkxxx作为迭代方向,又称为梯度法()kfxn 特点特点在确定搜索方向后,根据一维搜索确定最佳步长:(1)()()=kkkkfff kxxxT()()()=0kkkkfff kxxxT(1)
3、()0kkffxx相邻两个迭代点上的函数梯度相互垂直。局部上看:在一点附近下降很快整体上看:下降速度并不快最速下降法搜索路径5.2 最速下降法n基本步骤5确定方向确定步长只是需要求一阶偏导数,并且其算法和计算程序简单,迭代过程直观,在迭代点距离函数最优点比较远时的下降速度还是很快的。将梯度法与其他优化方法配合构成更加有效和实用的算法。最速下降法程序框图5.3 共轭方向法6n 共轭方向法的引出共轭方向法的引出1()2TfTxx Gxb xc目标函数在极值点附近的二次近似函数对于二维的情况,目标函数为二元二次函数,任选取初始点x0沿某个下降方向d d 0作一维搜索,得x11000 xxd5.3 共
4、轭方向法7因为 是沿d0方向搜索的最佳步长:01100()0Tff xxdd如果按最速下降法,选择负梯度方向 为搜索方向,则将发生锯齿现象。1()fx若取下一次的迭代搜索方向d1直指极小点x*。0d0 x0 x1x*1 11d1()fxd1111xxd这样这样的的d1方向应该满足什么条件方向应该满足什么条件呢呢?5.3 共轭方向法8对于前述的二次函数:1()2TfTxx Gxb xc当 时,1xx10 x*是f(x)极小点,应满足极值必要条件,故有()0fxGxb111111()()()ff xG xdbxGd0将等式两边同时左乘 得,且:0()Td01()0TdGd11()fxG xb110
5、10()00Tff xxdd,d0与d1 关于矩阵G共轭5.3 共轭方向法9n共轭方向的概念设G为nn阶实对称正定矩阵,如果有两个n维向量d0和d1满足 ,则称向量d0与d1 关于矩阵G共轭。01()0TdGd当G为单位矩阵时,01()0Tddn 共轭方向法的性质共轭方向法的性质性质1 若非零向量系d0,d1,d2,dm-1是对G共轭,则这m个向量是线性无关的。性质2 在n维空间中互相共轭的非零向量的个数不超过n。性质3 从任意初始点出发,顺次沿n个G的共轭方向d0,d1,d2,进行一维搜索,最多经过n次迭代就可以找到的二次函数f(x)极小点。5.3 共轭方向法10开始给定结束00,xd1:m
6、in()kkkkkkkfxxdxd1kkxx*1kxx否是1kk0k 提供新的共轭方向共轭方向法的步骤:共轭方向法的步骤:共轭梯度法:共轭梯度法:共轭方向法中的一种,该方法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来。鲍威尔法:鲍威尔法:直接利用目标函数值来构造共轭方向。共轭方向法程序框图关键是新的共轭方向的确定5.4 坐标轮换法n基本原理11将多维的无约束优化问题转化为一系列一维的最优化问题。每次搜索只允许一个变量变化,其余变量保持不变,即沿着n个线性无关的方向(通常坐标方向)轮流进行搜索。()()()()1()0,1,2,1,2,kkkkiiiikiikinxxdde每一轮的迭代公
7、式:轮次坐标收敛判据:()()0*()kknknxxxx坐标方向坐标轮换法搜索过程5.4 坐标轮换法n基本步骤12用一维搜索最佳步长赋值新起点,进行下一轮5.4 坐标轮换法n特点13p 简单易实现;p 收敛效果与目标函数等值线的形状有很大关系,一般认为此法仅适宜n10的小型优化问题的求解;p 等值线为圆或长短平行于坐标轴的椭圆,此法很快收敛;不平行时,收敛速度很慢。p 当目标函数的等值线出现与坐标轴斜交的脊线时,这种方法完全失去求优效能。搜索过程三种情况5.5 单行替代法n基本原理14p 单纯形:n维空间中具有n+1个顶点的多面体;p 单形替代法(也称单纯形法)不是沿一个方向进行搜索,而是构成
8、的单纯形,求出这些顶点处的目标函数值并加以比较,确定它们当中有最大值的点及函数值的下降方向,再设法找到一个新的比较好的点替换那个有最大值的点,从而构成新的单纯形。随着这种取代过程的不断进行,新的单纯形将向着极小点收缩,直到搜索到满足收敛条件的极小值点为止。p 利用目标函数为二元函数为例:12min,f x x初始单纯形比较顶点函数值重心计算反射、扩张、收缩、缩边新单纯形基本步骤:反射点比最好点好扩张5.5 单行替代法15p 初始单纯形顶点:123123fffxxxxxx,p 除去最差点的其余点的中点423=+/2xxxp 反射5441=+xxxx53ffxx64411.22.+0=xxxx扩张
9、因子,取根据 f(x5)可能出现以下5种情况6523665235ffffxxx x xxxx x x如果扩张有利:如果扩张不构成新单纯形构成新单利:纯形最好点最差点次差点二维目标函数使用单行替代法示意图 5.5 单行替代法16最好点最差点352fffxxx反射点比最好点差,比次差点好235x x x构成新单纯形 反射点比次差点好,比最差点好收缩251fffxxx7454=+0.5xxxx收缩因子,取7123771ffffxxx x xxx如果:如果构成新单纯形收缩失败,需进行缩边:反射点比最差点还差加大收缩51ffxx8441414=xxxxxxx8123881ffffxxx x xxx如果:
10、如果构成新单纯形收缩失败,需进行缩边:次差点二维目标函数使用单行替代法示意图5.5 单行替代法17 在x1x4方向上所有点都比最差点差缩边 1ffxx139323113=2=2x-xxxx-xxx3911x x x构成新单纯形最好点最差点次差点通过反射、扩张、收缩和缩边得到一个新的单纯形,新单纯形比前一个单纯形更靠近最优点。二维目标函数使用单行替代法示意图缩边计算几何示意p 收敛判据*HLLLfffxx5.5 单行替代法n基本步骤1.构造初始单纯形顶点,可初选x0,从x0出发沿各坐标轴走步长h生成n个点,使单纯形各棱线性无关2.计算各顶点函数值3.比较各顶点函数值,标记最好点、次差点、最差点4.收敛判断5.除去最差点其余各点重心计算6.反射计算7.扩张、收缩、缩边计算8.不满足收敛继续迭代n特点p不需要计算导数,适合于非线性优化问题p维数较高时,计算较慢,适合于n1018123456扩张收缩缩边最优解
侵权处理QQ:3464097650--上传资料QQ:3464097650
【声明】本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是网络空间服务平台,本站所有原创文档下载所得归上传人所有,如您发现上传作品侵犯了您的版权,请立刻联系我们并提供证据,我们将在3个工作日内予以改正。