1、第7章 最优控制l 动态优化方法1. 变分法(calculus of variations)2. 最优控制(optimal control)：变分法的一般化3. 动态规划(dynamic programming) 4. Lagrange法： Kuhn-Tucker定理的拓展7.1 最优控制问题7.2 自由端点问题7.3 各种终结条件7.4 最优控制原理的经济学情形7.5 最大值原理7.1 最优控制问题7.1.1 目标泛函7.1.2 最优控制问题的典型表示7.1.3 最优控制问题的特征7.1.1 目标泛函l 静态优化问题n 经济主体的最优决策一次性完成n 决策不涉及未来的规划和决策l 动态优化问
2、题的解n 规划期界(planning horizon)内的最优决策序列(离散时间)或时间路径(连续时间) （图7.2）l 动态优化问题的目标函数n 在规划期界内，为每一时点的决策变量赋值，并将其加总u 和计算某一时期的净收入流的现值相似。l 动态优化问题的典型情形n 寻找时间路径或函数，以最大化目标函数图7.2 连续时间动态优化问题的时间路径和目标函数l 泛函(functional)n 或函数与相对应的值之间体现的是从时间路径(或函数)到实数的映射n 泛函取决于函数或整条路径n 泛函的变化意味着整条路径位置的变动l 泛函值： n 上式是变分法(calculus of variations)的目
3、标泛函的原型n 注意：1. 并非积分2. 在多数问题中，只与有关7.1.2 最优控制问题的典型表示l 最优控制理论的优势n 最优控制理论是变分法的推广和一般化n 最优控制理论更容易反映经济直觉l 状态变量与控制变量n -存量(stock)，如消费、资产、产量等n -流量(flow)，如商品消费率、资产投资率和资源收成率等n 控制变量，称为控制集(control set)或控制域(control region)。n 对的依赖为状态方程(state equation)： n 转移函数描述给定的动态系统。n 控制变量和状态变量是成对的l 典型的最优控制问题： n 给定的，可自由选择n 控制变量不仅直
4、接影响目标泛函，而且借助间接影响目标泛函l 最优控制问题要求：决策者能够支配至少一个转移方程中的至少一个控制变量。 l 施加在被积函数和转移函数上的连续性限制：A1. 关于变量，A2. 关于变量，其中A3. 关于变量，其中A4. 关于变量，其中。l 和关于的可微性非必需例7.1 (跨期效用最大化) 例7.2 (最优存货积累) 7.1.3 最优控制问题的特征l 两个特征n 分段连续(piecewise continuous)u 除有限个不连续跳跃点之外是连续的u 图7.3(a)n 分段光滑的(piecewise smooth)u 即分量函数是连续，而导数函数至多有有限个间断点u 如图7.3(b)
5、图7.3 分段连续与分段光滑l 控制集n 中任意不变的开集或闭集n 特别有意义的是是中的闭集n 鲁棒控制(bang-bang control)u 设控制集u 最优控制路径如下跳跃：l 即碰撞的一条边界，然后碰撞另一条7.2 自由端点问题7.2.1 自由端点问题7.2.2 必要条件7.2.3 带残值问题的必要条件7.2.4 充分条件7.2.1 自由端点问题 （7.5）图7.4 自由端点问题l 增加三个假设：A5. 定义在开凸集上，A6. ，A7. 内部解：，l 容许对n 为容许对，满足和n 最优控制的基本问题：寻找容许对，以最大化目标泛函。7.2.2 必要条件l 共态函数(costate fun
6、ction)，或伴随函数(adjoint function)Lagrange乘子函数l 定理7.1 （必要条件）n 设是问题（7.5）的容许对，Hamilton函数。若产生的全局最大值，满足：1. 最优性条件(optimal condition)：2. 共态方程(costate equation)：3. 横截性条件(transversality condition)：4. 状态方程：5. 初始条件：例7.3 调整成本模型7.2.3 带残值问题的必要条件l 带残值的最优控制问题(7.13)n 其中，残值函数满足：A8. 定义在开凸集上，l 定理7.2 带残值问题的必要条件n 设是问题（7.13）
7、的容许对，Hamilton函数,若产生的全局最大值，则对,，满足：1. 最优性条件(optimal condition)：2. 共态方程(costate equation)：3. 横截性条件(transversality condition)：4. 状态方程：5. 初始条件：7.2.4 充分条件l 定理7.3 Mangasar 充分条件 设是问题(7.5)的容许对，并且和一起满足定理7.1，设Hamilton函数，若对，是时的包含所有容许对的开凸集上的的凹函数，则是最优控制，并且产生的全局最大值。若在同样条件下是严格凹的，则产生的唯一全局最大值。l Hamilton函数的凹性判断，需判定的符号
8、l 引理7.1 n 设是问题(7.5) 在时的最优解：1. ，2. ，3. ，l 有些模型无法满足凹性约束，Arrow充分性定理将其一般化l 定义：最大化的Hamilton函数n 设，则： l 定理7.4 必要条件n 定理7.1的重新表述n 设是问题（7.5）的容许对，若产生全局最大值，满足：其中，是最大化的Hamilton函数，并且l 定理7.5 Arrow 充分条件设是问题(7.5)的容许对，并且和一起，满足定理7.1。设最大化的Hamilton函数为。若对，是时包含所有容许值的开凸集上的的凹函数，则产生的全局最大值。若在同样条件下在中是严格凹的，则，并且是唯一的，但未必唯一。n Arro
9、w充分性定理用最大化的Hamilton函数在中为凹的假设，取代Mangasar充分性定理中的Hamilton函数的中的凹性假设。l 定理7.6 在凸集和上是凹的在中是凹的n 这表明，在凹在中凹n 因此，Mangasar充分性定理是Arrow充分性定理的一个特殊情形。n 注意，即使在中不是凹的，在中也可能是凹的，因此，Arrow定理可以应用于更广泛的一些最优控制问题。例7.4 最优控制问题 l 定理7.6 带残值问题的Mangasar 充分条件设是问题(7.17)的容许对，并且和一起，满足定理7.2，若对，是开凸集上的的凹函数，并且在时包含所有的容许值，则是最优控制，且产生的全局最大值。若在同样
10、条件下是严格凹的，则产生的唯一全局最大值。7.3 各种终结条件l 不同的终结条件对应不同的横截性条件，而其他必要条件保持不变。l 各种横截性条件背后的思想是：若在终结期处具有灵活性，则在最优解处利用该灵活性所能获得的边际收益为零！7.3.1 水平终结线问题7.3.2 固定终结点问题7.3.3 终结曲线问题7.3.4 截断垂直终结线问题7.3.5 截断水平终结线问题7.3.1 水平终结线问题l 终结条件：l 横截性条件：图7.4 水平终结线问题7.3.2 固定终结点问题l 终结条件：l 横截性条件：无图7.5 固定终结点问题7.3.3 终结曲线问题l 终结条件：l 横截性条件：图7.7 终结曲线
11、问题 7.3.4 截断垂直终结线问题l 终结条件：条件l 横截性条件： 图7. 8 截断垂直终结线问题7.3.5 截断水平终结线问题l 终结条件：终结期满足，终结状态固定l 横截性条件：图7.9 截断水平终结线问题7.4 最优控制原理的经济学情形7.4.1 最优控制原理的经济学解释7.4.2 现值hamiltion函数7.4.3 无限期界问题7.4.4 动态包络定理7.4.1 最优控制原理的经济学解释设某厂商试图最大化其内的利润，状态变量为资本存量，控制变量为商业策略，商业策略的选择影响资本积累，即影响。设0期资本存量为，但期的资本存量未定。厂商在期的利润取决于当期的资本存量和商业策略，即单期
12、利润为。这一问题可以表示为自由端点问题： (7.22)共态变量作为影子价格分别对初始期资本和终结期资本求导：，l 对任意，表示该期的影子价格。l 表示期状态变量的边际值，故为的影子价格。Hamilton函数与总利润Hamilton函数n 第一项为期时的单期利润n 第二项可以视为联系策略的未来利润效应n Hamilton函数代表各种策略所决定的利润，隐含着当前效应与未来效应之间的权衡取舍。n 最优性条件要求： n 表明最优策略必须在当前的边际利润和该策略通过资本存量变化引起的未来边际利润的损失之间做出权衡。Euler方程n 左边表示影子价格随时间的下降速度，或影子价格的折旧率n 右边第一项表示资
13、本对当期利润的边际贡献n 右边第二项表示资本对提高未来利润的边际贡献。l Euler方程要求：资本的影子价格的下降速度等于资本对当前利润和未来利润的贡献速度。横截性条件l 自由端点，横截性条件为n 在终结期处，无论有多少资本存量，都对企业没有经济意义，故期处资本的影子价格为零。l 截断垂直终结线，横截性条件为：，n ，相当于无约束；n ，约束起作用l 水平终结线，横截性条件为n 意味着在当期利润与未来利润之和已经被榨干至零时达到。7.4.2 现值Hamilton函数l 含贴现的最优控制问题 (7.23)其中为贴现率。n Hamilton函数n 现值Hamilton函数l 含贴现的最优控制问题(
14、7.23) 的必要条件。设是问题的解，则存在Hamilton乘子满足1 最优性条件：2 Euler方程：3 状态方程：4 边界条件与横截性条件：若，则，从而7.4.3 无限期界问题l 固定终结状态，即，横截性条件为：l 自由终结状态，即自由，横截性条件：l 终结状态，横截性条件并且例7.4 (Ramsey模型) Hamilton函数，有：1最优性条件：2Euler方程：3横截性条件：若规划期界是无限的，则横截性条件为：7.4.4 动态包络定理l 比较动态分析工具l 定理7.9 动态包络定理最优控制问题 (7.24)其中参数。Hamilton函数，最优值为，则： (7.25)7.5 最大值原理l
15、 迄今所涉及的结论只是经典变分法的重新表述。l 最大值原理(maximum principle)揭示最优控制理论的核心7.5.1 最优性原理定理7.8 (最优性原理) 最优策略具有如下性质：无论初始状态和初始决策是什么，剩余的决策相对于上一决策产生的状态必须形成最优策略。图7.10 最优性原理7.5.2 最大值原理l 最优控制问题寻找规划期界内的分段连续控制函数，以及分段光滑状态函数，求解固定端点问题： (7.29)l 修正的容许性定义定义7.4 (容许对)若对，是使成立的任意分段连续控制向量函数，是使，和成立的分段光滑状态函数，则称为容许对。l 定理7.9 最大值原理设是问题(7.29)的容
16、许对，并且Hamilton函数为，若产生的最大值，存在分段光滑函数，使得即若，则同时，除的不连续点外，有：7.5.3 简化的最大值原理推论7.9 假设是问题(7.29)的容许对，则如果对任意，产生的最大值，并且，则对，存在分段光滑向量值函数，使得， 并且同时，除的不连续点外，有：例7.5 最优控制问题其中参数7.5.4 充分条件l 定理7.10 Mangasar 充分条件 设是问题(7.29)的容许对，除和满足基本假设外，假设是凸集，和存在且连续。设和一起，满足定理7.9的必要条件。设Hamilton函数为。若对，是时包含所有容许值的开凸集上的的凹函数，则是最优控制，并且产生的全局最大值。如果在同样条件下是严格凹的，则产生的唯一全局最大值。7.5.5 有界控制 (7.31)特殊的情形包括或。定义Lagrange函数，则最优解的必要条件为：例7.8 最优控制问题：62
