1、最最 优优 控控 制制 理理 论与论与 应应 用用 Optimal Control Theory Optimal Control Theory and Applicationand Application 主主 要要 内内 容容 1 1 最优控制问题最优控制问题2 2 求解最优控制的变分方求解最优控制的变分方法法3 3 最大值原理最大值原理与应用与应用5 5 动态规动态规划划4 4 线性二次型性能指标的最优控线性二次型性能指标的最优控制制6 6 对策论与最大最小控对策论与最大最小控制制最优控制理论最优控制理论 现代控制理论的重要组成部分；现代控制理论的重要组成部分；2020世纪世纪5050年代
2、年代 发展形成系统的理论；发展形成系统的理论；（动态规划、最大值原理）（动态规划、最大值原理）中心问题中心问题 给定一个控制系统，选择控制规律，给定一个控制系统，选择控制规律，使系统在某种意义上是最优的；使系统在某种意义上是最优的；应用应用 在各个领域中得到应用，效益显著。在各个领域中得到应用，效益显著。前前 言言 例例1.1 1.1 飞船软着陆问题飞船软着陆问题 ：飞船软着陆：在：飞船软着陆：在月球表面着陆时速度必须为零，由发动机月球表面着陆时速度必须为零，由发动机的推力变化来完成。的推力变化来完成。1 1 最优控制问题最优控制问题1.1 1.1 一个实例一个实例 mg tu th tv月球
3、月球问题：如何选择推力，使燃料消耗最少。问题：如何选择推力，使燃料消耗最少。th高度高度()v t垂直速度垂直速度 tm飞船的质量飞船的质量g月球重力加速度常数月球重力加速度常数M飞船自身质量飞船自身质量()u t发动机推力发动机推力燃料的质量燃料的质量F初始条件：初始条件：登月舱初始质量登月舱初始质量 初始高度初始高度 初始速度初始速度 初始时间，初始时间，末端时间末端时间 00mFMm 00hh 00vv00tft.a tvth gtmtutv tkutmk常数常数模型抽象模型抽象 边界条件边界条件 初始条件初始条件 末端条件末端条件 控制约束：控制约束：（发动机最大推力）（发动机最大推力
4、）性能指标：选择性能指标：选择 使使 燃料最省燃料最省.b 0,0fftvth.c max0utu.d,*tu fthth0 maxftmJ0(0)hh0(0)vvFMm)0(1.2 1.2 问题描述问题描述(1)(1)状态方程状态方程 一般形式为一般形式为 00()(),(),)()|t tx tf x t u t tx tx()nx tR为为n n维状态向量维状态向量 ()ru tR为为r r维控制向量维控制向量),(),(ttutxf为为n n维向量函数维向量函数 给定控制规律给定控制规律)(tu),(),(ttutxf满足一定条件时，方程有唯一解满足一定条件时，方程有唯一解(2)(2)
5、容许控制容许控制 Uu0)(uGU：Uu,()iiu tm1,2,ir有时控制域可为超方体有时控制域可为超方体 (3)(3)目标集目标集 ()(),)0fffSx tx tt(),)ffx ttq维向量函数维向量函数()fftx tx固定端问题固定端问题 nSR自由端问题自由端问题 (4)(4)性能指标性能指标 0()(),)(),(),)dftfftJ ux ttL x t u t tt对状态、控制以及终点状态的要求，复合型性能对状态、控制以及终点状态的要求，复合型性能指标。指标。(),)0ffx tt积分型性能指标，表示对整个状积分型性能指标，表示对整个状态和控制过程的要求。态和控制过程的
6、要求。0),(),(ttutxL终点型指标，表示仅对终点状态终点型指标，表示仅对终点状态的要求。的要求。BolzaMayerLagrange2 2 求解最优控制的变分方法求解最优控制的变分方法（回顾：函数极值（回顾：函数极值 ）回顾回顾:静态最优化问题的解静态最优化问题的解 -函数极值函数极值 (一一)一元函数的极值一元函数的极值：*(),()0()0,()0u uJf ua bufuufufu设为义闭区间单连续点的数,则点条为条定定在在上上的的值值可可微微函函存存在在极极值值的的必必要要件件是是极极小小值值充充要要件件是是(二二)多元函数的极值多元函数的极值1212(),0,0TnTunnf
7、f uuu uunfuffffuuu设数，为维。得条数为：元元函函列列向向量量它它取取极极值值的的必必要要件件是是或或函函的的梯梯度度零零向向量量2222122222212212212212222nnnnnuufuufuufuufufuufuufuufuffuf2200ffuu条，阵为阵函数取取极极小小值值的的充充要要件件是是：即即下下列列海海森森矩矩正正定定223123233121312323213123*()25263,04201026022201,1,21 12xTf xxxxx xx xxfffxxxfxxxfxxxxxxxx 例 设试 点条得联 点为。求求的的极极值值及及其其极极小小
8、值值。解解：由由极极值值必必要要件件立立解解得得故故极极值值22222*40201022221 12,()10 xTffxfxxxfff x从森阵为点又又得得海海矩矩是是正正定定的的。故故极极小小值值的的极极小小值值三、具有等式约束条件极值的解法拉格朗日三、具有等式约束条件极值的解法拉格朗日乘子法将具有等式约束条件的极值问题化为约束乘子法将具有等式约束条件的极值问题化为约束条件的极值问题来求解条件的极值问题来求解（一）拉格朗日函数（一）拉格朗日函数(,)Jf x uxnur连续标数为维，维已已知知可可微微的的目目函函(,)0(,)(,)TTg x uHHJgf x ug x ug约条为约标数个
9、数：维。等等式式束束件件用用乘乘子子向向量量乘乘等等式式束束并并与与目目函函相相加加，构构成成一一新新函函是是与与 同同的的列列向向量量*(,)0Txug x u说称为数个没约数标数为证将，代入H,得 明明：（1 1）拉拉格格朗朗日日函函，它它是是一一有有束束的的函函（2 2）用用 所所求求的的极极值值就就是是目目函函的的极极值值。因因可可明明，求求出出的的HH（二）拉格朗日函数（二）拉格朗日函数H H极值的解法极值的解法102030()0()0(,)0TTHHHHxuHfgxxxHfguuuHg x u条（），（），（）将条开存存在在极极值值的的必必要要件件是是：必必要要件件展展得得：2 2
10、 求解最优控制的变分方法求解最优控制的变分方法2.1 2.1 泛函与变分法基础泛函与变分法基础平面上两点连线的长度问题平面上两点连线的长度问题 其弧长为其弧长为1211()dSx tt行程问题行程问题一般来说，曲线不同，弧长就不同，即弧长依赖一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为于曲线，记为 。()S x()S x，称为泛函。，称为泛函。)(tx，称泛函的宗量，称泛函的宗量。泛函与函数的几何解释泛函与函数的几何解释 12()()()x tx tx t宗量的变分宗量的变分 ()()Jx tJ x t1212()()()J xxJ xJ x线性泛函线性泛函 泛函对宗量是线性的泛函对
11、宗量是线性的连续泛函连续泛函：宗量的变分趋于无穷小时，泛函的变宗量的变分趋于无穷小时，泛函的变分也趋于无穷小分也趋于无穷小.泛函的变分：泛函的变分：(,)L xxJ泛函的增量泛函的增量()()()(,)(,)J xJ xxJ xL xxr xx此时此时,称称泛函是可微的。泛函是可微的。(,)r xx是是的高阶无穷小量，则的高阶无穷小量，则x若若定理定理2.1 2.1 泛函的变分为泛函的变分为0()JJ xx 0()J xx00()()limlimJJ xxJ x 01lim()()L xxr xx0()(,)lim(,)r xxL xxxL xxx证明证明例例2.1 2.1 求泛函的变分求泛函
12、的变分 0(,)dTtJF x x tt 00()(,)dTtJJ xxF xx xx tt0()dTtFFxxtxx00 xxJJ定理定理2.2 2.2 若泛函若泛函)(xJ在在x有极值，则必有有极值，则必有0J上述方法与结论对于包含多变量函数的泛数同样适用上述方法与结论对于包含多变量函数的泛数同样适用。2.2 2.2 欧拉方程欧拉方程d0dFFxtx0()(,)dfttJ xF x x tt泛函泛函),(txxF 有二阶连续偏导数有二阶连续偏导数 两端固定两端固定 00()x tx1()x Tx0()dfttFFJxx txx变分变分 0ftt0d()ddfttFFFJx txxtxx分部
13、积分分部积分 x00ftt0d()d0dfttFFJx txtx例例2.2 2.2 求平面上两固定点间连线最短的曲线求平面上两固定点间连线最短的曲线 02()1()dTtJ xx tt)(12txF，dd0ddFFFxtxtx 2d20d1xtxcxx21atx)(battx)(直线直线 2.3 2.3 横截条件横截条件左端固定右端沿曲线变动左端固定右端沿曲线变动 终点值与终点的变分终点值与终点的变分 t()0fFFxx横截横截条件条件 00(,)d|fftttJF xx xx tt00d()ddfffttttftFFFx txFtxtxx0ffttfFJxFtx()()()0fftfffft
14、FFxtF ttFxtxx例例2.3 2.3 从一固定点到已知曲线有最小长度的曲线从一固定点到已知曲线有最小长度的曲线 1xC02()1()dfttJ xx ttd0dFtx21FxCxx1()x tC t2221(1()()011ffttxxxtxxx所求的极值曲线与约束曲线相正交。所求的极值曲线与约束曲线相正交。欧拉方程欧拉方程 积分积分求解求解计算计算横截条件横截条件直直线线 1 ftx2.4 2.4 含有多个未知函数泛函的极值含有多个未知函数泛函的极值 泛函泛函 0111(,)(,;,;)dftnnntJ xxF xxxx tt欧拉方程欧拉方程 d0diiFFxtxd0dFFxtx边界
15、值边界值,00,()1,2,()1,2,ffitiit titx txinx txin00t txxfft ttxx()0ftFFxx 横截条件横截条件 2.5 2.5 条件极值（有约束）条件极值（有约束）状态方程状态方程 0),(txxf 泛函泛函 0(,)dfttJF x x tt引进乘子引进乘子 T1()(),()nttt构造新的函构造新的函数和泛函数和泛函 TFFf00T()ddffttttJFftFt欧拉方程欧拉方程 约束方程约束方程 *d0dFFxtx*d0dFFft例例2.4 2.4 泛函泛函2201()d2JQ tt约束方程约束方程 )()(tutQ 边界条件边界条件 1)0(
16、Q1)0(Q0)2(Q0)2(Q)(tuJ试求试求使泛函使泛函有极值。有极值。解：化为标准形式解：化为标准形式 2220011()d()d22JQ ttutt121()()()()()x tQ tx tx tQ t把问题化为标准形式，令把问题化为标准形式，令例例2.6122()()0()()0 x tx tx tu t约束方程可定为约束方程可定为1(0)1x2(0)1x1(2)0 x2(2)0 x边界条件为边界条件为引进乘子引进乘子T12()(),()ttt构造函数构造函数T2112221()()2FFfuxxxu欧拉方程欧拉方程 *111d0dFFxtx*1222d0dFFxtx*2d0dF
17、Fuutu解出解出 11a212ata 12uata1a2a其中，其中，和和为任意常数。为任意常数。32112342212311()621()2x tata ta tax tata ta()u t代入约束方程，并求解可得代入约束方程，并求解可得将将13a 272a 31a 41a 利用边界条件，可得：利用边界条件，可得：32117()124x tttt 2237()122x ttt273)(ttu于是，极值曲线和于是，极值曲线和)(tu为：为：2.6.1 2.6.1 自由端问题自由端问题约束方程约束方程 0),(xtuxf新的泛函新的泛函 0T()(,)(,)dftftJx tL x u tf
18、 x u txt00TTT()(,)dfftftttJx tH xu txtxx0T()(,)dftftJx tH xu tx t有有T(,)(,)HL x u tf x u t令令哈米顿函数哈米顿函数 2.6 2.6 最优控制问题的变分解法最优控制问题的变分解法00TTTTTTTT()()()()()()()d()()|()()()dffftfffftfttftx tHHJx ttx txux tx txuHHx txu txxu 0T()d0fttHJu tu0uH变分变分(,)()H xu ttx()()()fffx ttx t则则伴随方程伴随方程 控制方程控制方程横截条件横截条件 例例
19、2.5 2.5 考虑状态方程和初始条件为考虑状态方程和初始条件为)()(tutx00()x tx02211()d22ftftJcx tut的简单一阶系统，其指标泛函为的简单一阶系统，其指标泛函为，使，使0tft0c)(tu其中其中，给定，试求最优控制给定，试求最优控制J有极小值。有极小值。uutuxfttxLH221),()(),(伴随方程伴随方程()0Htx 边界条件边界条件 21()()()()2fffftcx tcx tx t控制方程控制方程 0uuH)(t解解:引进伴随变量引进伴随变量，构造哈米顿函数，构造哈米顿函数00()()()ffcxu tcx tc tt 则最优控制为则最优控制
20、为 ()fucx t 得得00()()()fx tcx tttx 代入状态方程求解得代入状态方程求解得00()1()ffxx tc tt令令ftt，则有，则有2.6.2 2.6.2 固定端问题固定端问题，00()t tx tx()fft ttx tx 0(,)dfttJL x u tt性能指标性能指标 00TTT()dffttttJHx txx0TT()()dfttHHJxutxu()Htx 0()d0ftTtHu tu0uH边界条件边界条件 1(0)1x2(0)1x1(2)0 x2(2)0 x2201d2Jut指标泛函指标泛函 哈米顿函数哈米顿函数 212212Huxu伴随方程伴随方程 11
21、()0Htx 212()()Httx ，例例2.6 2.6 12()()x tx t2()()x tu t重解例重解例2.42.4 11()ta212()tata 其解为其解为 20Huu212uata 12xx 212xua ta32112341162xa ta ta ta2212312xa ta ta273)(ttu32117()124x tttt 2237()122x ttt约束方程约束方程 0),(xtuxf引入拉格朗日乘子向量，得新的泛函引入拉格朗日乘子向量，得新的泛函 2.6.3 2.6.3 终端时刻自由，终端状态受限问题终端时刻自由，终端状态受限问题(),)0jffgx tt(1
22、,2,)jkn(),)0ffG x tt终端约束终端约束 0(),)(),)(,)+(,.)-)ftTTafffftJxttv GxttF xutf xut xdt性能指标性能指标 0(),)(,)dftfftJx ttF x u tt 有有 0(),)()dftTafftJx ttHxt00TT()(),(),(,)()(,)fffafffffftttttJx tx tttx ttH xx uutxxdtH x utx dtT(),)(),)(),)ffffffx ttx ttv G x ttT(,)(,)HF x u tf x u t令令H函数函数 T()()affffJx ttx tt
23、0TTT()()fttHHxux dtxu T(,)()ffftttH xx uutxxdt00TTTTTT()()()()()()fftttfftHHxux dtxuHHxu dttx txu 而而 T(,)()ffftttH xx uutxxdtTTTTTT(,)()()(,)()()(,)()()()ffftttfffffffHHH x utxuxx dtxuH x utttx ttH x utttx tx t T()()affffJx ttx tt0TTT()()()()ftffftHHxu dtHttx txu于是于是 T()()affffJx ttx tt0TTT()()()()f
24、tffftHHxu dtHttx txu于是于是0TT()()fttHHxu dtxu()()()Tffffftx tHtx tt1()()()()kjfjjfffgtvx tx tx t0uHHtx)(，()Htx，取极值的必要条件得取极值的必要条件得aJ由由1()()()()kjfjjfffgH tvx tx tx t 问题描述问题描述系统状态方程系统状态方程 00()()=xf x,u,tx tx&性能指标性能指标 0()(,)dftftJx tL x ut0,tf 固定固定,自由，自由，u可以有约束，也可以有约束，也可无约束。可无约束。()fx t3 3 最小值原理最小值原理3.1 3
25、.1 古典变分法的局限性古典变分法的局限性u(t t)受限的例子受限的例子 矛盾矛盾!例例3.13.1)()()(tutxtx1)0(x1)(tu10()dJx tt()()()()Hx ttx tu t1)()(txHt伴随方程伴随方程 0)(tuH极值必要条件极值必要条件 (t)03.2 3.2 最小值原理最小值原理()x t()Hx t()Htx 且且 min(),(),(),)(),(),(),)u UH x t u tt tH x t u tt t()x t)(tu()x t)(t)(tu定理定理3.1(最小值原理最小值原理)设为设为容许控制，容许控制，为对应的积分轨线，为使为对应的
26、积分轨线，为使为最优控制，为最优控制，)(t为最优轨线，必存在一向量函数为最优轨线，必存在一向量函数，使得，使得和和满足正则方程满足正则方程 最小值原理只是最优控制所满足的必要条件。但最小值原理只是最优控制所满足的必要条件。但对于线性系统对于线性系统 ()()()()()x tA t x tB t u t1111()()()()()nnnnatatA tatat，1()()()nb tB tb t最小值原理也是使泛函取最小值得充分条件。最小值原理也是使泛函取最小值得充分条件。例例3.2 3.2 重解例重解例3.13.1，哈密顿函数哈密顿函数 ()()()()(1)()()Hx ttx tu t
27、x tu t伴随方程伴随方程 1)()(txHt0)1(由极值必要条件，知由极值必要条件，知 1sign1u 00 ，01)(1tet01t 又又于是有于是有1)(tu1)()(txtx，1)0(x 12)(tetx110d21Jxte)(tu协态变量与控制变量的关系图协态变量与控制变量的关系图,，例例3.3 3.3)()()(tutxtx1)0(x1)(tu101()d2Jxut性能指标泛函性能指标泛函 哈密顿函数哈密顿函数 11()(1)()22Hxuxuxu 伴随方程伴随方程 1)(xHt，0)1(1()(1)tte 1sign()2u 10ln2()1ln12etu tet 10ln2
28、1ln12extxxuext 2ln,0e上有上有 12)(tetx1xx 14)2(ln1eex 1)2()(teetx210ln2()(2)1ln12tteetx tee et 协态变量与控制变量的关系图协态变量与控制变量的关系图 整个最优轨线整个最优轨线 例例3.43.4 12122,(0)0,(0)0 xxxxux1u把系统状态在终点时刻转移到把系统状态在终点时刻转移到 (121)()4x Tx T性能指标泛函性能指标泛函 20dTJut终点时刻是不固定的终点时刻是不固定的 哈米顿函数哈米顿函数 2122Huxu伴随方程伴随方程 112120HxHx 1a，2bat，H是是u的二次抛物
29、线函数，的二次抛物线函数，u在在 上一定使上一定使H有最小值，可能在内部，也可能在边界上。有最小值，可能在内部，也可能在边界上。11u最优控制可能且只能取三个值最优控制可能且只能取三个值 220Huu211()22ubat 1u1u 此二者都不能使状态变量同此二者都不能使状态变量同时满足初始条件和终点条件时满足初始条件和终点条件 231221 11()()2 2611()()22x tbtatx tbtat 231221 111()()2 264111()()224x TbTaTx TbTaT 2122T2()()|11 ()()()0442H TuxuabaTbaTbaT0b91a3T 18
30、)(ttu108)(1ttx，36)(22ttx，361J最优控制最优控制 最优轨线最优轨线 最优性能指标最优性能指标 例例3.53.5 12xx2xu1(0)0 x2(0)2x1)(tu使系统以最短时间从给定初态转移到零态使系统以最短时间从给定初态转移到零态 1()0 x T 2()0 x T 01dTJTtuxH2211哈米顿函数哈米顿函数 伴随方程伴随方程 110Hx 212Hx 1()ta2()tbat 2signsign()ubat 最优控制切换及最优轨线示意图最优控制切换及最优轨线示意图 3.3 3.3 古典变分法与最小值原理古典变分法与最小值原理古典变分法适用的范围是对古典变分法
31、适用的范围是对u u无约束，而最小值原无约束，而最小值原理一般都适用。特别当理一般都适用。特别当u u不受约束时，条件不受约束时，条件min(,)u UH xu t就等价于条件就等价于条件0uH4 4 线性二次型性能指标的最优控制线性二次型性能指标的最优控制 用最大值原理求最优控制，求出的最优控制用最大值原理求最优控制，求出的最优控制 通常是时间的函数，这样的控制为开环控制通常是时间的函数，这样的控制为开环控制 当用开环控制时，在控制过程中不允许有任当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。何干扰，这样才能使系统以最优状态运行。在实际问题中，干扰不可能没有，因
32、此工程在实际问题中，干扰不可能没有，因此工程上总希望应用闭环控制，即控制函数表示成时间上总希望应用闭环控制，即控制函数表示成时间和状态的函数。和状态的函数。求解这样的问题一般来说是很困难的。求解这样的问题一般来说是很困难的。但对于线性，且指标是二次型的动态系统，却但对于线性，且指标是二次型的动态系统，却得了较好的解决。不但理论比较完善，数学处理简得了较好的解决。不但理论比较完善，数学处理简单，而且在工程实际中又容易实现，因而有着广泛单，而且在工程实际中又容易实现，因而有着广泛的工程应用。的工程应用。4.1 4.1 问题提法问题提法动态方程动态方程()()()()()x tA t x tB t
33、u t()()()y tC t x t指标泛函指标泛函 0TTT11()()()()()()()()d22ftfftJxtSx tet Q t e tut R t u tt使使求求(,)u x tJ有最小值有最小值.其中其中()t是理想输出是理想输出()()()Y tC t X t是实际输出是实际输出)()()(ttyte（1）状态调节器问题）状态调节器问题此问题称线性二次型性能指标的最优控制问题。此问题称线性二次型性能指标的最优控制问题。(,)u x t通常称通常称为综合控制函数为综合控制函数(),()0C tIt当当时。时。（2）伺服跟踪问题）伺服跟踪问题()0t当当时。时。指标泛函的物理
34、意义指标泛函的物理意义积分项，被积函数由两项组成，都是二次型。积分项，被积函数由两项组成，都是二次型。第一项跟踪误差的惩罚。要求每个分量越小越好第一项跟踪误差的惩罚。要求每个分量越小越好，但每一个分量不一定同等重要，所以用加权来调，但每一个分量不一定同等重要，所以用加权来调整，当权为零时，对该项无要求。整，当权为零时，对该项无要求。第二项控制能量消耗的惩罚。对每个分量要求不第二项控制能量消耗的惩罚。对每个分量要求不一样，因而进行加权。要求正定，一方面对每个分一样，因而进行加权。要求正定，一方面对每个分量都应有要求，否则会出现很大幅值，在实际工程量都应有要求，否则会出现很大幅值，在实际工程中实现
35、不了；另一方面，在计算中需要有逆存在。中实现不了；另一方面，在计算中需要有逆存在。指标中的第一项是对终点状态的要求，由于对每指标中的第一项是对终点状态的要求，由于对每个分量要求不同，用加权阵来调整。个分量要求不同，用加权阵来调整。4.2.1 4.2.1 末端自由问题末端自由问题构造哈密顿函数构造哈密顿函数 TTTT1122()()()()Hx Q t xu R t uA t xB t u伴随方程及边界条件伴随方程及边界条件 T()()()()HtAtQ t x tx ()()fftSx t最优控制应满足最优控制应满足 TT()()()0HRt u tBtu1T()()()()u tRt Btt
36、4.2 4.2 状态调节器状态调节器1T00()()()()()()(),()x tA t x tB t Rt Bttx txT()()()()(),()()fftA ttQ t x ttSx t()()()tP t x t1T1T()()()()()()()()()()()()()()()()()()()()()()()tP t x tP t x tP t x tP t A t x tB t Rt B ttP tP t A tP t B t Rt B t P t x t求导 TT()()()()()()()()()tQ t x tA ttQ tA t P t x t T1T()()()()(
37、)()()()()()()()()Q tA t P t x tP tP t A tP t B t Rt B t P t x tT1T()()()()()()()()()()()0P tP t A tAt P tP t B t Rt Bt P tQ t（矩阵黎卡提微分方程）（矩阵黎卡提微分方程）边界条件边界条件()fP tS1T()()()()K tRt Bt P t令令最优控制是状态变量的线性函数最优控制是状态变量的线性函数借助状态变量的线性反馈可实现闭环最优控制借助状态变量的线性反馈可实现闭环最优控制 最优控制最优控制*1T(,)()()()ux tRt Bt P t x*(,)()ux t
38、K t x()P t对称半正定阵对称半正定阵 例例4.14.1,(0)1xaxux02221122()()()dTtJsx Tqx trutt性能指标泛函性能指标泛函*1()up t xr 最优控制最优控制 黎卡提微分方程黎卡提微分方程 21()2()(),()p tap tp tqp Tsr()()2dd12p TTp ttppapqr2()2()/()()/()/1/b t Tb t Ts res rp trs res r2qar最优轨线最优轨线 最优控制最优控制 最优轨线的微分方程最优轨线的微分方程 1()()(),(0)1x tap tx txr0()/)d()ta p trx te解
39、解 1a 0s 1T 1q 黎卡提方程的解黎卡提方程的解 随终点时间变化的随终点时间变化的黎卡提方程的解黎卡提方程的解 2lim(,)Tqp t Tarrar4.2.2 4.2.2 ft 的情况的情况0TT12()()()()()()dtJxt Q t x tut R t u tt性能指标性能指标 无限长时间调节器问题无限长时间调节器问题 黎卡提方程黎卡提方程()P t()0fP t边界条件边界条件 最优控制最优控制 *1T(,)()()()ux tRt Bt P t x 最优指标最优指标*T10002()()()JxtP tx t4.2.3 4.2.3 定常系统定常系统xAxBu完全可控完全
40、可控 0TT1()()()()d2fttJxt Qx tut Ru tt指标泛函指标泛函 T1T0PAA PPBR B PQ矩阵代数方程矩阵代数方程*1T(,)()ux tR Bt Px 最优控制最优控制 *T1002()()JxtPx t最优指标最优指标 例例4.24.2 102,(0)xxuxx 22211220()(2)d,0TfJsx txuts*1T()()uBR B P t xp t x 黎卡提方程黎卡提方程 22,()fpppp ts1()0.5 1.5th(1.5)p tt 2()0.5 1.5cth(1.5)p tt4.3 4.3 输出调节器输出调节器输出调节器问题输出调节器
41、问题状态调节器问题状态调节器问题 0TTT11()()()()()()()()d22ftfftJytSy tyt Q t y tut R t u tt指标泛函指标泛函 0TTT1111()()()()()()()()()d22ftffftJxtS tx txt Q t x tut R t u ttT1()()()()Q tCt Q t C tT1()()ffSCtSC t令令4.4 4.4 跟踪问题跟踪问题问题的提法问题的提法)(t已知的理想输出已知的理想输出)()()(ttyte偏差量偏差量 指标泛函指标泛函 0TTT11()()()()()()()()d22ftfftJetSe tet Q
42、 t e tut R t u tt寻求控制规律使性能指标有极小值。寻求控制规律使性能指标有极小值。物理意义：在控制过程中，使系统输出尽量趋物理意义：在控制过程中，使系统输出尽量趋近理想输出，同时也使能量消耗最少。近理想输出，同时也使能量消耗最少。指标泛函指标泛函 00TTTTTT1()()()()21 ()()()()()()()()d21 ()()()()()()21 ()()()()()()()()()()d2ffffffttfffffttJy ttS y tty ttQ ty ttut R t u ttC tx tTS C tx ttC t x ttQ t C t x ttut R t
43、u tt哈密顿函数哈密顿函数 TTT1()()()()()()()()()()2 ()()()()()HC t x ttQ t C t x ttut R t u ttA t x tB t u tT()()()()0HR t u tBttu*1T()()()uRt Btt 0)(22tRuH1T()()()()()()()x tA t x tB t Rt BttTTT()()()()()()()()()()tCt Q t C t x tAttCt Q tt xtx)(0TT()()()()()()fffffftCtSC tx tCtSt)()()()(ttxtPt设设并微分并微分1T1T()()
44、()()()()()()()()()()()()()()()()()()()tP t x tP t x ttP t x tP t A tP t B t Rt Bt P tP t B t Rt BtttT1TTT()()()()()()()()()()()()0P tP t A tAt P tP t B t Rt Bt PCt Q t C t)(tx的任意性的任意性 T1TT()()()()()()()()()()0tAtP t B t Rt BttCt Q ttT()()()fffP tCtS tT()()()ffftCtSt*1T1T()()()()()()uRt Bt P t xRt Bt
45、t 最优控制最优控制 T()()()()fffTtP tt最优轨线方程最优轨线方程 1T1T()()()()()()()()()()()x tA tB t Rt Bt P tx tB t Rt Btt最优性能指标最优性能指标*TT0000001()()()()()()2Jxtp tx ttx ttTT1T1()()()()()()()()2tt Q ttt B t R Btt 例例4.34.3，0 100 01xxu 1020(0)xxx1121,0 xyxx性能指标性能指标 2201()d2Jyut1212121212232323232312230 10 0010,11,000 01 010
46、()()0 0 ()()0 0ppppppppppppppppppppp Tp Tp Tp T 212121232232331,()0,()02,()0ppp Tppp pp Tpppp T 1232,1,2pppT12120010pp a()0tT22123()()0,()()0t pttt p212()()0,()2()0tttt2a*122uxxa 最优控制最优控制 tet1)(12()()tt，0)(1T212()()2tt，0)(2TT 21()122tte texxu2211221*最优控制最优控制 极限解极限解 1121(1)0.72222ttteee闭环控制系统结构闭环控制系统
47、结构 5 5 动态规划动态规划动态规划是求解最优控制的又一种方法，动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而且得特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源于多出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故称贝决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。尔曼动态规划。5.1 5.1 多级决策过程与最优性原理多级决策过程与最优性原理作为例子，首先分析最优路径问题作为例子，首先分析最优路径问题(a)(b)(c)试分析试分析(a),(ba),(b)和和(c)(c)三种情况的最优路径，即三种情况的最优路径，即从从 走到走到
48、所需时间最少。规定沿水平方向所需时间最少。规定沿水平方向只能前进不能后退。只能前进不能后退。0 xTx利用穷举法，易知：利用穷举法，易知：(a)(a)有有2 2条路径，只需计算条路径，只需计算2 21=21=2次加法，上次加法，上面一条所需时间最少。面一条所需时间最少。(b)(b)有有6 6条路径可达终点，需计算条路径可达终点，需计算6 63=183=18次加次加法，经比较，可找出一条时间最短的路程。法，经比较，可找出一条时间最短的路程。(c)(c)则需计算则需计算20205=1005=100次加法，才可得出结次加法，才可得出结果，计算量显著增大了。果，计算量显著增大了。逆向分级计算法逆向分级
49、计算法 逆向是指计算从后面开始，分级是指逐级计逆向是指计算从后面开始，分级是指逐级计算。逆向分级就是从后向前逐级计算。算。逆向分级就是从后向前逐级计算。以以(c)(c)为例为例 从倒数第一级开始，状态有两个，分别为从倒数第一级开始，状态有两个，分别为 51x和和52x 在在51x处，只有一条路到达终点，其时间是处，只有一条路到达终点，其时间是3；在在52x 处，也只有一条，时间为处，也只有一条，时间为1 1。后一条时间最短，。后一条时间最短，将此时间相应地标在将此时间相应地标在 点上点上。52x并将此点到终点的最优路径画上箭头。并将此点到终点的最优路径画上箭头。然后再考虑第二级然后再考虑第二级
50、 41x只有一种选择，到终点所需时间是只有一种选择，到终点所需时间是 63942x有两条路，比较后选出时间最少的一条，即有两条路，比较后选出时间最少的一条，即4+1=54+1=5。用箭头标出。用箭头标出(最优路径最优路径)43x也标出时间也标出时间(最优路径最优路径)依此类推，最后计算初始位置依此类推，最后计算初始位置 求得最优路径求得最优路径 01222324252Tx x x x x x x最短时间为最短时间为 1313(最优路径最优路径)最优路径示意图最优路径示意图 多级过程多级过程 1(),0,1kkxf xkN多级决策过程多级决策过程 1(,),0,1kkkxf x ukN目标函数目
