1、华东理工大学华东理工大学ECUSTECUST采用状态方程表示，令采用状态方程表示，令1x12xxDFDDmJTIJKx2于是于是FDDDmTJIJKxxxx10000102121（3）初始状态初始状态00)0()0(21xx末值状态末值状态0)()(21fftxtxDI控制控制 不受限制不受限制性能指标性能指标ttIREDtDfd)(20（4）)(tID本问题的最优控制问题是：在数学模型（本问题的最优控制问题是：在数学模型（3）的约束下，寻求一个）的约束下，寻求一个控制控制 ，使电动机从初始状态转移到末值状态，性能指标，使电动机从初始状态转移到末值状态，性能指标E 为为最小。最小。华东理工大学
2、华东理工大学ECUSTECUST问题问题 2：对于问题对于问题 1 中的直流他励电动机，如果电动机从初始中的直流他励电动机，如果电动机从初始)(tID时刻时刻 的静止状态转过一个角度的静止状态转过一个角度 又停下，求控制又停下，求控制 （是是受到限制的），使得所需时间最短。受到限制的），使得所需时间最短。00t)(tID这也是一个最优控制问题：这也是一个最优控制问题：系统方程为系统方程为FDDDmTJIJKxxxx10000102121初始状态初始状态00)0()0(21xx末值状态末值状态0)()(21fftxtx)(tIDmaxDI（5）性能指标性能指标ftttJf0d（6）)0(x最优控
3、制问题为：在状态方程的约束下，寻求最优控制最优控制问题为：在状态方程的约束下，寻求最优控制，将，将 转移到转移到 ，使，使J 为极小。为极小。maxDI)(tID)(ftx华东理工大学华东理工大学ECUSTECUST最优控制问题的一般性提法为最优控制问题的一般性提法为系统状态方程为系统状态方程为),(tux,fx 初始状态为初始状态为)(0tx其中，其中，x 为为n 维状态向量；维状态向量；u 为为r 维控制向量；维控制向量；f 为为n 维向量函数，维向量函数，它是它是 x、u 和和t 的连续函数，并且对的连续函数，并且对x、t 连续可微。连续可微。最优。其中最优。其中 是是 x、u 和和t
4、的连续函数的连续函数),(tuxL)(ftxrRu 寻求在寻求在 上的最优控制上的最优控制 或或 ，以将系统状，以将系统状态从态从 转移到转移到 或或 的一个集合，并使性能指标的一个集合，并使性能指标,0fttrRU u)(0tx)(ftxttttJfttffd),(),(0uxLx最优控制问题就是求解一类带有约束条件的条件泛函极值问题。最优控制问题就是求解一类带有约束条件的条件泛函极值问题。华东理工大学华东理工大学ECUSTECUST第一章、用变分法求解最优控制问题第一章、用变分法求解最优控制问题一、泛函与变分一、泛函与变分1、泛函的基本定义：、泛函的基本定义：)(tx如果对于某个函数集合如
5、果对于某个函数集合 中的每一个函数中的每一个函数 ，变量，变量J 都有一个都有一个值与之对应，则称变量值与之对应，则称变量J 为依赖于函数为依赖于函数 的泛函，记作的泛函，记作)(tx)(tx)(txJ可见，泛函为标量，可以理解为可见，泛函为标量，可以理解为“函数的函数函数的函数”例如：例如：ttxxJd)(30（其中，（其中，为在为在 上连续可积函数）上连续可积函数）)(tx3,0当当 时，有时，有 ；当；当 时，有时，有 。ttx)(5.4Jtetx)(13 eJ华东理工大学华东理工大学ECUSTECUST泛函泛函 如果满足以下条件时，称为线性泛函：如果满足以下条件时，称为线性泛函：)(t
6、J x1），其中，其中c 为任意常数；为任意常数；2）)()(tcJtcJxx)()()()(2121tJtJttJxxxx)()(0ttxx对于一个任意小正数对于一个任意小正数 ，总是可以找到，总是可以找到 ，当，当 时，有时，有 就称泛函就称泛函 在在 处是连续的。处是连续的。)()(0ttxx)()(0tJtJxx)(tJ x2、泛函的变分、泛函的变分)(tx所谓泛函所谓泛函 的宗量的宗量 的变分是指两个函数间的差。的变分是指两个函数间的差。)(tJ x)()(0ttxxxnRtt)(),(0 xx定义：设定义：设 是线性赋泛空间是线性赋泛空间 上的连续泛函，其增量可表示为上的连续泛函，
7、其增量可表示为xJnR,xxxxxxxxrLJJJ,xxr其中，其中，是关于是关于 的线性连续泛函，的线性连续泛函，是关于是关于 的高阶的高阶无穷小。则无穷小。则 称为泛函称为泛函 的变分。的变分。,xxLxx,xxLJ xJ华东理工大学华东理工大学ECUSTECUST3、泛函变分的规则、泛函变分的规则1）2121)(LLLL2）122121)(LLLLLL3）ttLttLbabad,d,xxxx4）xxddddtt泛函的变分等于泛函的变分等于0)(xtxJ华东理工大学华东理工大学ECUSTECUST4、泛函的极值、泛函的极值0 xxJ设设 是在线性赋泛空间是在线性赋泛空间 上某个子集上某个子
8、集D 中的线性连续泛函，中的线性连续泛函，若在，若在 的某邻域内的某邻域内nRD0 xnRUxxxxx,),(00在在 时，均有时，均有DU),(0 xx0 xxxJJJ00 xxxJJJ0或或则称则称 在在 处达到极大值或极小值。处达到极大值或极小值。)(xJ0 xx 华东理工大学华东理工大学ECUSTECUST为了判别是极大还是极小，要计算二阶变分为了判别是极大还是极小，要计算二阶变分 。但在实。但在实际问题中根据问题的性质容易判别是极大还是极小，故一般际问题中根据问题的性质容易判别是极大还是极小，故一般不计算不计算 。J22J0 xx 定理定理：设：设 是在线性赋泛空间是在线性赋泛空间
9、上某个开子集上某个开子集D 中定义的可中定义的可微泛函，且在微泛函，且在 处达到极值处达到极值的必要条件是对于的必要条件是对于 在在 处处必有必有泛函泛函 xJxJnR0 xx 0,0 xxJ华东理工大学华东理工大学ECUSTECUST欧拉方程：欧拉方程：fftxx)(ft定理：设有如下泛函极值问题：定理：设有如下泛函极值问题：其中，其中，及及 在在 上连续可微，上连续可微，和和 给定，给定，已知已知 ，则极值轨线，则极值轨线 满足如下欧满足如下欧拉方程拉方程dttLJfttt0),(min)(xxxx),(tLxx)(tx,0ftt0t00)(xxtnRt)(x)(*tx0ddxxLtL及横
10、截条件及横截条件0)()(00txLtxLtTftTfxx注意：满足欧拉方程是必要条件，不是充分条件。注意：满足欧拉方程是必要条件，不是充分条件。华东理工大学华东理工大学ECUSTECUST证明：让自变量函数证明：让自变量函数 、在极值曲线在极值曲线 、附附近发生微小变分近发生微小变分 、，即，即)(tx)(tx)(*tx)(*tx xx*()()()x txtx t)()()(*txtxtx0,fttJL xx xx tL x x tdt022(),()fttLLxxoxxdtxx 上式中上式中 是高阶项是高阶项。22(),()oxx于是泛函于是泛函J J 的增量的增量 可计算如下（以下将可
11、计算如下（以下将*号省去）号省去）J华东理工大学华东理工大学ECUSTECUST 根据定义，泛函的变分根据定义，泛函的变分 是是 的线性主部，的线性主部，即即JJ0fttLLJxxdtxxfffttttttvduuvudv000对上式第二项作分部积分，按公式对上式第二项作分部积分，按公式可得可得00()ffttttLdLLJxdtxxdtxx华东理工大学华东理工大学ECUSTECUST J J 取极值的必要条件是取极值的必要条件是 等于零。因等于零。因 是任意的，要是任意的，要使上式中第一项（积分项）为零，必有使上式中第一项（积分项）为零，必有Jx()0LdLxdtx上式称为欧拉上式称为欧拉拉
12、格朗日方程。拉格朗日方程。第二项为零，就有第二项为零，就有0)()(00txLtxLtTftTfxx华东理工大学华东理工大学ECUSTECUST二、用变分法求解最优控制问题二、用变分法求解最优控制问题1 末值时刻固定、末值状态自由情况下的最优控制末值时刻固定、末值状态自由情况下的最优控制非线性时变系统状态方程为非线性时变系统状态方程为),(tux,fx（6）初始状态初始状态)()(00ttttxx（7）其中，其中，x 为为n 维状态向量；维状态向量；u 为为r 维控制向量；维控制向量；f 为为n 维向量函数。维向量函数。要求在控制空间中寻求一个最优控制向量要求在控制空间中寻求一个最优控制向量
13、，使以下性能指标，使以下性能指标)(tutttJfttfd),()(0uxLx（8）沿最优轨线沿最优轨线 取极小值。取极小值。)(tx（性能指标如（性能指标如（8 8）式所示的最优控制问题，是变分法中的波尔扎）式所示的最优控制问题，是变分法中的波尔扎问题问题）华东理工大学华东理工大学ECUSTECUST引入拉格朗日乘子引入拉格朗日乘子)()()()(21ttttn（9）将性能指标（将性能指标（8）式改写为其等价形式）式改写为其等价形式tttttJTttffd),()(),()(0 xuxfuxLx),()(),(),(ttttHTuxfuxLux定义哈密顿函数定义哈密顿函数（10）则则tttH
14、tJTttffd)(),()(0 xuxxttttHtTttttfffd)(d),()(00 xuxx（11）由（由（6 6）式可知）式可知为零为零 xux,f),(t华东理工大学华东理工大学ECUSTECUST（12）对（对（11）式中的第三项进行分部积分，得）式中的第三项进行分部积分，得tttttHtJTttttTttffffd)()(d),()(000 xxuxx当泛函当泛函J 取极值时，其一次变分等于零。取极值时，其一次变分等于零。即即0J可以变分的量：可以变分的量：uuu)()(ttxxx)()(tt)()()(ffftttxxx不可以变分的量：不可以变分的量：0tft)(0tx)(
15、t求出求出J 的一次变分并令其为零的一次变分并令其为零0d)()()()(0tHHttttJTTTttffTfTffxuuxxxxx华东理工大学华东理工大学ECUSTECUST将上式改写成将上式改写成0d)()()(0tHHtttJTTttfTfffuuxxxx（13）)(ftx)(t由于由于 未加限制，可以选择未加限制，可以选择 使上式中使上式中 和和 的系数的系数等于零。于是有等于零。于是有)(txxH（15）（14）（16）)()(ffttx0d0tHJTttfuu由于由于 是任意的变分，根据变分法中的辅助引理，由（是任意的变分，根据变分法中的辅助引理，由（16）式得）式得u0uH（17
16、）（14）式称为伴随方程，）式称为伴随方程，为伴随变量，（为伴随变量，（17）式为控制方程。）式为控制方程。)(t华东理工大学华东理工大学ECUSTECUST几点说明：几点说明：1）实际上，（）实际上，（14）式和（）式和（17）式就是欧拉方程。）式就是欧拉方程。xfxLxH（18）因为因为0uH0ufuL（19）如果令如果令),()(),(),(xuxfuxLuxttttHT简记成简记成xfLTH（20）xfxL由欧拉方程得到由欧拉方程得到0ddxxHtH0)(xfxL即即（21）华东理工大学华东理工大学ECUSTECUST可见（可见（21）式和（）式和（18）式相同，（）式相同，（22）式
17、和（）式和（19）式相同。因此，）式相同。因此，（14）式和（）式和（17）就是欧拉方程，而（）就是欧拉方程，而（7）式和（）式和（15）就是横截条）就是横截条件。件。0dduuHtH0ufuL（22）2）是泛函取极值的必要条件是否为极小值还需要二次变分是泛函取极值的必要条件是否为极小值还需要二次变分 来判断，来判断，则泛函则泛函J 取极小值。取极小值。0JJ202J华东理工大学华东理工大学ECUSTECUST3）哈密顿函数沿最优轨线随时间的变化率哈密顿函数沿最优轨线随时间的变化率tHHHHtHTTTuuxxdd在最优控制在最优控制 、最优轨线、最优轨线 下，有下，有 和和*u*x0uH（10
18、10）式的哈密顿函数对）式的哈密顿函数对 求求偏导，结果为偏导，结果为 xux,f),(t 由（由（1414）式可得）式可得0 xxxxHHHHHHTTTT 因为减号两边是相等标量因为减号两边是相等标量（行向量与列向量相乘）（行向量与列向量相乘）（23）（24）这两个等于零的式子代入（这两个等于零的式子代入（23）式，于是）式，于是tHtHdd华东理工大学华东理工大学ECUSTECUST 即哈密顿函数即哈密顿函数H 沿最优轨线对时间的全导数等于它对时间的偏沿最优轨线对时间的全导数等于它对时间的偏导数。记为导数。记为 则则)(),(*tHtHuxttHHdd（25）对上式积分，得到对上式积分，得
19、到dHtHtHfttf*0*0)()(（26）当哈密顿函数不显含当哈密顿函数不显含 t 时，由（时，由（25）式得）式得consttHtHf)()(*华东理工大学华东理工大学ECUSTECUST初始条件初始条件例例 1 系统状态方程为系统状态方程为ux)(0tx性能指标性能指标tutcxJfttfd21)(212200c试求最优控制试求最优控制 ，使，使J 取极小值。取极小值。*u解解 哈密顿函数哈密顿函数uutuxH221),(由伴随方程由伴随方程0 xHconst)()()(fftcxtt)()(21)()(2fffftcxtcxtxt因为因为const华东理工大学华东理工大学ECUSTE
20、CUST由控制方程由控制方程0uuH即即)()(*ftcxtu将将 代入状态方程代入状态方程*u)(ftcxux解为解为10)()(ctttcxtxf当当 时，代入上式，求得时，代入上式，求得 ，所以，所以0tt)(01txc)()()(00txtttcxtxf当当 时，时，ftt)(1)()(00tttxtxff)(1)(21d21)(2100222*0ttctcxtutcxJfttff最优性能指标为最优性能指标为华东理工大学华东理工大学ECUSTECUST2 末值时刻固定，末端状态固定情况下的最优控制末值时刻固定，末端状态固定情况下的最优控制非线性时变系统状态方程为非线性时变系统状态方程为
21、),(tux,fx（27）初始状态初始状态)()(00ttttxx（28）末值状态末值状态)()(fttttfxx（29）性能指标性能指标ttLJfttd),(0ux（30）)(ftx寻求最优控制寻求最优控制 ，在，在 内，将系统从内，将系统从 转移到转移到 ，同时使性能指标同时使性能指标J 取极小值。取极小值。*u,0ftt)(0tx（性能指标如（性能指标如（3030）式所示的最优控制问题，是变分法中的拉格朗）式所示的最优控制问题，是变分法中的拉格朗日问题日问题）华东理工大学华东理工大学ECUSTECUST引入哈密顿函数引入哈密顿函数),()(),(),(ttttHTuxfuxLux)()(
22、)()(21ttttn其中其中ttHJTttfd),(0 xux于是于是因为因为xuxuxfuxuxL)(),(),()(),(),(ttHtttHtTT对上式右边第对上式右边第2项进行分部积分，可以得到项进行分部积分，可以得到ttHttttJTttffTTfd),()()()()(000 xuxxx上式中可以变分的量：上式中可以变分的量：uuu)()(ttxxx)()(tt)(t不可以变分的量：不可以变分的量：0tft)(0tx)(ftx华东理工大学华东理工大学ECUSTECUST令性能指标令性能指标J 的一次变分等于零，得的一次变分等于零，得0d0tHHJTTttfuuxx（31）选择选择
23、 ，使其满足，使其满足)(txH（32）则则0d0tHJTttfuu（33）在末端状态固定情况下，在末端状态固定情况下，不是任意的。只有在系统能控的情况不是任意的。只有在系统能控的情况下，才有控制方程下，才有控制方程u0uH华东理工大学华东理工大学ECUSTECUST例例 2 问题问题 1的系统状态方程为的系统状态方程为FDDDmTJIJKxxxx10000102121末值状态末值状态0)()(21fftxtx初始状态初始状态00)0()0(21xx性能指标性能指标ttIREJDtDfd)(201DR设设ttIEJDtfd)(20)(ftx最优控制问题就是在状态方程的约束下，寻求最优控制问题就
24、是在状态方程的约束下，寻求 ，使，使 转转移到移到 ，并使，并使J 取极小值。取极小值。)(tID)0(x华东理工大学华东理工大学ECUSTECUST解解 根据能控性判据知，该系统是能控的根据能控性判据知，该系统是能控的200rankrankDmDmJKJKCQ1）哈密顿函数为）哈密顿函数为FDDDmTDTJIJKItH1000010),(2xux2）由控制方程得到）由控制方程得到00221DmDDJKIIH即即022DmDJKI221DmDJKI华东理工大学华东理工大学ECUSTECUST3）由伴随方程）由伴随方程 ，得到，得到xH01constc 11112c212ctc（，为积分常数）为
25、积分常数）1c2c)(2121ctcJKIDmD4）由状态方程得）由状态方程得21xx FDDmDmFDDDmTJcJKtcJKTJIJKx1212112221222322221222)121(41ctTJcJKtcJKxFDDmDm43222223122112141121ctctTJtcJKtcJKxFDDmDm（，为积分常数）为积分常数）3c4c华东理工大学华东理工大学ECUSTECUST根据边界条件，确定积分常数，得根据边界条件，确定积分常数，得043 cc223124mDfKJtcFmDmDfTKJKJtc22222212代入代入 和和)()(2ttx)(tID6)(222fftttt
26、xtttJTtJKtIfDFfDmD321261)(它们的曲线如图所示它们的曲线如图所示（图中（图中 ，实线是，实线是理论上的变化，虚线理论上的变化，虚线是实际的轨线。）是实际的轨线。）)(tID华东理工大学华东理工大学ECUSTECUST 3 末值时刻自由情况下的最优控制末值时刻自由情况下的最优控制非线性时变系统状态方程为非线性时变系统状态方程为),(tux,fx 初始状态初始状态)()(00ttttxx初始时刻初始时刻 固定，末值时刻固定，末值时刻 是自由的。是自由的。自由，性能指标自由，性能指标0tft)(ftxttttJfttffd),(),(0uxLx（34）寻求最优控制寻求最优控制
27、 以及以及 ，使性能指标，使性能指标J 取极小值。为了求出取极小值。为了求出最优控制，引入哈密顿函数最优控制，引入哈密顿函数*u*ft),()(),(),(ttttHTuxfuxLux其中其中)()()()(21ttttn华东理工大学华东理工大学ECUSTECUSTtttHttJTttfffd)(),(),(0 xuxx于是于是可以变分的量可以变分的量ftux)(ftx不能变分的量不能变分的量)(0tx0t)(tfttTTTTttfffTftHtHHttttJffd)()(0 xxuuxxxx),(tHux上式中上式中H 为为 的简化表示的简化表示对上式中对上式中 进行分部积分，进行分部积分，
28、成为成为tfttTd0 xJfttTttTTTttfffTtHtHHtttJfffd)(0 xxuuxxxx（35）华东理工大学华东理工大学ECUSTECUST)(ftx应当注意，末值时刻应当注意，末值时刻 自由时，自由时，不等于不等于 ftfttxffttftttf)()(xxx或或ffftttttf)()(xxx上式代入（上式代入（35）式）式fffTTttfTffttHttHHtttJf)(d)()()(0uuxxxx华东理工大学华东理工大学ECUSTECUST性能指标取极值时，必有性能指标取极值时，必有0J0)(d)()()(0fffTTttfTffttHttHHtttJfuuxxxx
29、（36）选择选择 使其满足使其满足)(txH（37）)()(ffttx（38）由于由于 、是任意的，可得是任意的，可得uft0uH（39）华东理工大学华东理工大学ECUSTECUST（40）ffttH)(（41）而而),(tHuxfx例例 3 系统的状态方程为系统的状态方程为ux 1)0(x0)(ftx性能指标性能指标tutJftfd022求最优控制求最优控制 和末值时刻和末值时刻 ，使性能指标泛函取极小值。，使性能指标泛函取极小值。)(*tuft解解经判断系统是能控的经判断系统是能控的1）构造哈密顿函数构造哈密顿函数uutx,uH2),(华东理工大学华东理工大学ECUSTECUST2）由控制
30、方程）由控制方程 ，得，得0uH02*u或或21*u3）由伴随方程）由伴随方程0 xH1cconst 1*21cu4）将）将 代入状态方程代入状态方程*u121cx解为解为ftc212121ctcx2c其中，其中，、为积分常数，由为积分常数，由 ，确定，得确定，得1c)0(x)(ftx1)0(2 xc华东理工大学华东理工大学ECUSTECUST5）由于）由于 自由，自由，得到，得到ft0)(ffttHfffttutu2)()(202)()(2fffttutu或或解得解得3116c312ft31*2u1231*tx华东理工大学华东理工大学ECUSTECUST第二章、第二章、用极小值原理求解最优控
31、制问题用极小值原理求解最优控制问题一、一、问题的提出问题的提出 用变分法求解最优控制时，认用变分法求解最优控制时，认为控制向量为控制向量 不受限制。但是不受限制。但是实际的系统，控制信号都是受到实际的系统，控制信号都是受到某种限制的。某种限制的。)(turRUt)(u 因此，应用控制方程因此，应用控制方程来确定最优控制，可能出错。来确定最优控制，可能出错。0uHa)图中所示，图中所示，H 最小值出现在左最小值出现在左侧，不满足控制方程。侧，不满足控制方程。b)图中不存在图中不存在 0uH华东理工大学华东理工大学ECUSTECUST二、二、极小值原理极小值原理非线性定常系统的状态方程为非线性定常
32、系统的状态方程为（42）),(uxfx ft初始时刻初始时刻 ，初始状态，初始状态 ，末值时刻，末值时刻 ，末端状态，末端状态 自由自由0t)(0tx)(ftxUu)(t（43）性能指标为末值型性能指标性能指标为末值型性能指标),(ffttJx（44）)(ftx要求在状态方程约束下，寻求最优控制要求在状态方程约束下，寻求最优控制 及及 使系统从使系统从转移到转移到 ，并使，并使J 取极小值。取极小值。Uu*ft)(0tx华东理工大学华东理工大学ECUSTECUST以下就是用极小值原理解前面的问题：以下就是用极小值原理解前面的问题：设设 为容许控制，为容许控制，为对应的状态轨线。为了使它们分别成
33、为对应的状态轨线。为了使它们分别成为最优控制为最优控制 和最优轨线和最优轨线 ，存在一个向量函数，存在一个向量函数 ，使得，使得)(tu)(tx)(t*u)(t*x)(t*xH*（45）xH*（46）其中哈密顿函数：其中哈密顿函数：),(),(uxfuxTtH（47）)(*t（49）（48）和和 满足边界条件满足边界条件)()(0*0ttttxx)()(*ffttx)(*tx华东理工大学华东理工大学ECUSTECUST则哈密顿函数则哈密顿函数H 相对最优控制取极小值，即相对最优控制取极小值，即（50）,min),(*tHtHuxuxUu或者或者),(*tHux,*tHux（51）consttH
34、tHf)()(*在末值时刻在末值时刻 是自由的情况是自由的情况ft哈密顿函数沿最优轨线随时间的变化规律：哈密顿函数沿最优轨线随时间的变化规律：在末值时刻在末值时刻 是固定的情况是固定的情况ft（52）（53）0)()(*ftHtH几点说明：几点说明：1）极小值原理给出的只是最优控制应该满足的必要条件。）极小值原理给出的只是最优控制应该满足的必要条件。2）极小值原理的结果与用变分法求解最优问题的结果相比，差别）极小值原理的结果与用变分法求解最优问题的结果相比，差别仅在于极值条件。仅在于极值条件。4）非线性时变系统也有极小值原理。）非线性时变系统也有极小值原理。3）这里给出了极小值原理，而在庞德里
35、亚金著作论述的是极大值）这里给出了极小值原理，而在庞德里亚金著作论述的是极大值原理。因为求性能指标原理。因为求性能指标J的极小值与求的极小值与求J的极大值等价。的极大值等价。华东理工大学华东理工大学ECUSTECUST三、三、二次积分模型的快速控制二次积分模型的快速控制在问题在问题 2 中，若中，若 ，令，令 。就是二次积分。就是二次积分模型。模型。0FT1/DmJK)()(tutID其状态方程模型其状态方程模型ux 221xx（54）u1 1（55）系统的初始状态为系统的初始状态为)0(1x)0(2x（56）末值状态为末值状态为0)(1ftx0)(2ftx（57）性能指标为性能指标为fttt
36、Jf0d（58）华东理工大学华东理工大学ECUSTECUST)(ftx 要求在状态方程约束下，寻求满足（要求在状态方程约束下，寻求满足（55）式的最优控制）式的最优控制，使系统从，使系统从 转移到转移到 ，同时使，同时使J 取极小值。取极小值。)(*tu)0(x因为在这个最优控制问题中，控制信号因为在这个最优控制问题中，控制信号 受限制，因此用极小值受限制，因此用极小值原理来求解。系统是能控的，其解存在且唯一。原理来求解。系统是能控的，其解存在且唯一。)(tu1）哈密顿函数为）哈密顿函数为uxtuxH221),(（59）2）根据极值条件（）根据极值条件（50），来确定最优控制。），来确定最优控
37、制。只能用分析的方法确定只能用分析的方法确定u(t)，使哈密顿函数取，使哈密顿函数取极小值。显然，在极小值。显然，在u的限制条件下，选择的限制条件下，选择u 使使H 取得极小。有取得极小。有0)(10)(122*ttu（60）或或)(sign2*tu（61）华东理工大学华东理工大学ECUSTECUST3）伴随方程为）伴随方程为011xH122xH如果如果 的初始值为的初始值为 ，则，则 )(t11)0(d22)0(d11dtdd122（62）（63）在在0，内最多变号一次，最优控制函数有以下可能的内最多变号一次，最优控制函数有以下可能的4种情况种情况)(2tft华东理工大学华东理工大学ECUS
38、TECUST4）由状态方程可知，当）由状态方程可知，当 时，求得时，求得1*utxtx)0()(22221121)0()0()(ttxxtx消去消去t 得得)(21)0(21)0()(222211txxxtx或写成或写成22221121)0(21)0(xxxx为了形象地表示系统的运动形态，引用相平面方法，画出相轨迹如为了形象地表示系统的运动形态，引用相平面方法，画出相轨迹如下图所示。相轨迹为两族抛物线。下图所示。相轨迹为两族抛物线。华东理工大学华东理工大学ECUSTECUST从从 到达到达 的相轨迹只有两条的相轨迹只有两条 、。0)0(x0)(ftxrr1*u2212121),(xxxxr2x
39、001*u2212121),(xxxxr2x00r将将 和和 合起来，合起来，r2212121,xxxxxrrr曲线曲线r 将相平面分成两个区域将相平面分成两个区域 和和RR2212121,xxxxxR2212121,xxxxxR华东理工大学华东理工大学ECUSTECUST当初始状态当初始状态 位于位于 ：为为（+1，1）)0(xR*u最优轨线：当初始状态最优轨线：当初始状态 位于位于 ：为为（1，+1）)0(xR*u0CBA0 ED曲线曲线r 常称为转移曲线或开关曲线。常称为转移曲线或开关曲线。开关曲线方程式为开关曲线方程式为021),(22121xxxxxh也称为开关函数。最优控制为也称为
40、开关函数。最优控制为),(21xxh11)(*tu0),(21xxh当当 及及 ，0),(21xxh2x000),(21xxh当当 及及 ，0),(21xxh2x00最优控制系统的结构图，如下图所示最优控制系统的结构图，如下图所示华东理工大学华东理工大学ECUSTECUST5）最优性能指标）最优性能指标初始状态在初始状态在A点：点：COACfttt*)0(21)0()0(2212xxxtAC)0(21)0(221xxtCOCOACfttt*)0(2)0(4)0(2212xxx)()(*tItuD说明：通过这个最优控制问题的求解发现，最优控制与问题说明：通过这个最优控制问题的求解发现，最优控制与
41、问题6-1不不同。在问题同。在问题6-1中，中，为时间的三角函数。为时间的三角函数。而在这里，而在这里，为时间方波函数。原因在于性能指标不同，因此为时间方波函数。原因在于性能指标不同，因此 也也不同。因此，在说到最优控制问题时，一定要指明性能指标，即求不同。因此，在说到最优控制问题时，一定要指明性能指标，即求解在什么性能指标下的最优。解在什么性能指标下的最优。)()(*tItuD)(*tu华东理工大学华东理工大学ECUSTECUST第三章、第三章、用动态规划法求解最优控制问题用动态规划法求解最优控制问题右图为某小城镇交通路线图。右图为某小城镇交通路线图。起点站为起点站为S，终点站为，终点站为F
42、，)1(1x)2(1x)3(1x)1(2x)2(2x)3(2x 站与站之间的里程标在图上，要求选择一条路线站与站之间的里程标在图上，要求选择一条路线走法，使里程最短。这是一个最优控制问题。走法，使里程最短。这是一个最优控制问题。一种办法是将从一种办法是将从S 到到F 所有可能走法都列出来，并且把每所有可能走法都列出来，并且把每种走法的里程标在各条路线上，找出最短的。种走法的里程标在各条路线上，找出最短的。一、一、动态规划法的基本思想动态规划法的基本思想华东理工大学华东理工大学ECUSTECUST华东理工大学华东理工大学ECUSTECUST第二个办法：从最后一段开始，第二个办法：从最后一段开始，
43、向前倒推。当倒推到某一站时，向前倒推。当倒推到某一站时，计算该站到终点站的总里程，计算该站到终点站的总里程，并选择里程最少的走法。并选择里程最少的走法。华东理工大学华东理工大学ECUSTECUST从该例看出，这种解法有两个特点从该例看出，这种解法有两个特点:第一，它把一个复杂的问题第一，它把一个复杂的问题（即：决定一条路线的选择问题）变成许多个简单的问题（即：每（即：决定一条路线的选择问题）变成许多个简单的问题（即：每次只决定向上走（次只决定向上走（p）还是向下走（）还是向下走（q）的问题），因此问题的求解）的问题），因此问题的求解变得简单容易了。变得简单容易了。不变嵌入原理的含义是：为了解决
44、一个特定的最优控制问题，而把不变嵌入原理的含义是：为了解决一个特定的最优控制问题，而把原问题嵌入到一系列相似的但易于求解的问题中去。对于一个多级原问题嵌入到一系列相似的但易于求解的问题中去。对于一个多级最优控制过程来说，就是把原来的多级最优控制问题代换成一系列最优控制过程来说，就是把原来的多级最优控制问题代换成一系列单级最优控制问题。单级最优控制问题。华东理工大学华东理工大学ECUSTECUST二、二、最优性原理最优性原理 最优性原理最优性原理在一个多级决策问题中的最优决策具有这样的性在一个多级决策问题中的最优决策具有这样的性质，不管初始级质，不管初始级、初始状态和初始决策是什么，当把其中任何
45、一级、初始状态和初始决策是什么，当把其中任何一级和这一级的状态再作为初始级和初始状态时，余下的决策对此必定和这一级的状态再作为初始级和初始状态时，余下的决策对此必定构成一个最优决策。构成一个最优决策。将最优性原理应用到离散系统中去，系统状态方程为将最优性原理应用到离散系统中去，系统状态方程为)(),()1(kkkuxfx初始状态为初始状态为)0()(0 xxkk性能指标为性能指标为)(),(0kkLJNkux要求确定要求确定 ，使性能指标最优，即，使性能指标最优，即)(kuoptJ华东理工大学华东理工大学ECUSTECUST)(ik u一般认为，第一般认为，第k 级决策级决策 与第与第k 级以
46、及级以及k 以前各级状态以前各级状态 和决和决策策 有关有关)(ku)(ik x),2,1(i),1(),(,),1(),()(kkkkkuuxxuu（64）以上函数称为策略函数以上函数称为策略函数)(),()1(),1()0(),0(opt0),0()(,),1(),0(*NNLLLJNuuuuxuxuxx)(),()1(),1(opt)0(),0(opt)(,),2(),1()0(NNLLLNuuuuuxuxux如果记如果记)(),()1(),1(opt 1),1()(,),2(),1(*NNLLJNuuuuxuxx则则1),1()0(),0(opt0),0(*)0(*xuxxJLJu对于
47、任意级对于任意级k，有有1),1()(),(opt),(*)(*kkJkkLkkJkuxuxx（65）应该指出，最优性原理所肯定的是余下的决策为最优决策。对以前应该指出，最优性原理所肯定的是余下的决策为最优决策。对以前的决策没有明确的要求。的决策没有明确的要求。华东理工大学华东理工大学ECUSTECUST三、三、用动态规划法求解离散系统最优控制问题用动态规划法求解离散系统最优控制问题系统状态方程为系统状态方程为)(),()1(kkkuxfx（66）)0()(0 xxkk（67）)(),(0kkLJNkux（68）要求在状态方程约束下，寻求要求在状态方程约束下，寻求 使使)(kuminJ1),1
48、()(),(min),(*)(*kkJkkLkkJkuxuxx 可以受限制，也可以不受限制。可以受限制，也可以不受限制。)(ku华东理工大学华东理工大学ECUSTECUST例例 4 线性定常离散系统的状态方程为线性定常离散系统的状态方程为)()()1(kukxkx初始状态为初始状态为 ，性能指标为，性能指标为)0(x)(21)(212102kuNcxJNk寻求最优控制序列寻求最优控制序列 ，使，使 （为了简单起见，设（为了简单起见，设 ）2N)(kuminJ解解 运用动态规划法来求解运用动态规划法来求解1）从最后一级开始，即从最后一级开始，即2k)2(212),2(2*cxxJ华东理工大学华东
49、理工大学ECUSTECUST2）向前倒推一级，即向前倒推一级，即1k22)1(22)1(*2)1(*)1()1(21)1(21min)2(21)1(21min2),2()1(21min 1),1(uxcucxuxJuxJuuu因为因为 不受限制，故不受限制，故 可以通过下式求得可以通过下式求得)(ku)1(*u0)1()1()1()1(1),1(*cucxuuxJccxu1)1()1(*)1(2)1(1),1(2*ccxxJcxuxx1)1()1()1()2(*华东理工大学华东理工大学ECUSTECUST3）再向前倒推一级，即再向前倒推一级，即0k)1(2)0()0()0(21min)1(2)
50、1()0(21min 1),1()0(21min0),0(22)0(22)0(*2)0(*cuxcuccxuxJuxJuuu注意：注意：1、对一个多级决策过程来说，最优性原理保证了全过程性、对一个多级决策过程来说，最优性原理保证了全过程性能指标最小，并不保证每一级性能指标最小。但是在每考虑一级时，能指标最小，并不保证每一级性能指标最小。但是在每考虑一级时，都不是孤立地只把这一级的性能指标最小的决策作为最优决策，而都不是孤立地只把这一级的性能指标最小的决策作为最优决策，而总是把这一级放到全过程中间去考虑，取全过程的性能指标最优的总是把这一级放到全过程中间去考虑，取全过程的性能指标最优的决策作为最
