1、第8章 动态规划8.1 递归确定性模型8.2 递归随机模型8.1 递归确定性模型8.1.1有限期界8.1.2无限期界8.1.3Euler方程8.1.4 Bellman方程8.1.5 一般情形8.1.6 具有解析解的若干情形8.1.7 值函数的近似计算8.1.1有限期界l 有限期界的Ramsey问题 （8.1）满足：（1）；（2）严格递增；（3）严格凹；（4）。是资本折旧率，劳动时间为常数，同时具有的其他性质。满足：（1）严格递增；（2）严格凹；（3）。l 非线性规划问题，可以应用Kuhn-Tucker定理求解l 最优解满足n 式(8.3b)左边是相邻两期消费的边际替代率，它表明经济主体愿意为下
2、一期的消费而放弃现期消费的比率n 式(8.3b)右边是经济主体为增加一单位的额外储蓄而得到的补偿未来产出的增加。8.1.2无限期界l 若经济为无限期界即，要求问题具有递归结构。l 在Ramsey问题中，这种递归结构具体表现为时间可加可分性（time additive separable, TAS）效用函数：(8.4)其中:-贴现因子()-时间偏好率(pure rate of time preference)-单期或当期函数严格递增、严格凹、二次连续可微的l 对式(8.4)进行迭代，可以得到(8.5)l 无限期界Ramsey问题(8.6)8.1.3Euler方程l 可以利用Kuhn-Tucher
3、方法的拓展形式来刻画Ramsey问题(8.6)的解的特征。l Euler方程 (8.9)在稳态处，可得：，或(8.10)为找到唯一的资本的最优时间路径，需要两个条件：初始资本存量和横截性条件。8.1.4 Bellman方程l Ramsey问题(8.6)的递归表达(8.11)l Bellman方程的推导l Bellman方程（8.14）n 的解取决于的给定值，为此记，是经济主体的决策规则n 方程可以理解成单值函数和与之相关的策略函数的隐式定义。从这个角度看，它是一个泛函方程。n 最优性原理表明，Bellman方程(8.14)的解就是问题（8.11）的解。n 称为值函数(value functio
4、n)，称为策略函数(policy function)。l 动态规划理论(dynamic programming)n 探讨值函数和策略函数的存在性、性质及其构造方法。n 设、严格递增、严格凹、二次连续可微，则1. 值函数存在，可微、严格递增、严格凹；2. 策略函数存在，递增、可微的；3. 值函数是以下序列的极限：假设。例8.1 假设在Ramsey问题（8.11）中，使用值函数迭代法求解。l 动态规划方法同样提供一阶条件： （8.16）8.1.5 一般情形l 问题(8.17)l 等价于：(8.19)n 若方程有解，则决定策略函数l 策略函数的求解n 首先是关于控制变量的一阶条件：(8.20)n 式
5、子包含值函数关于下一期状态变量的导数，但形式未知。为此，需要利用以下的包络定理。l 定理8.1 Benveniste & Scheinkman 包络定理假设问题(8.14)满足：.，和为具有非空内部的凸集；.是凹的、可微的；.是凹的、可微的，并且在中是可逆的。则：根据定理8.1，对方程(8.18a)求导，可得：(8.21)l 若选取控制变量，使，则：n 可得：(8.22)n 若独立于，则可以用这一方程求出隐函数。n 若依赖于，则可以用均衡条件求出稳态。8.1.6 具有解析解的若干情形. 对数效用和对数线性技术. 对数效用和对数线性调整成本，其中. 等弹性效用和CES技术，CES生产函数，折旧率
6、，资源约束为.线性二次模型8.1.7 值函数的近似计算l 若不成立，则无法获得值函数的解析式。l 近似法之一：值函数迭代法(value function iteration)1. 猜测初始值函数，常取。若有更多信息，可以取其他值2. 给定，利用Bellman方程计算值；然后利用，计算，重复这一过程，即可得到收敛于值函数的近似值函数序列。在这一过程中，我们也在重复计算近似策略函数，而序列的极限就是策略函数。l 上述迭代过程同时给出值函数和策略函数。l 例：问题(8.11)中，则，Bellman方程各参数的值：，猜测初始值函数为。利用稳态方程(8.10)，可以求得稳态为，以及。图8.1显示了值函数
7、经过240次迭代后的收敛情况（用于数值计算的MATLAB程序见本章附录）图.1 值函数的近似图8.2 经240次迭代后的策略函数8.2 递归随机模型8.2.1 随机Ramsey问题8.2.2 随机Euler方程8.2.3 随机Bellman方程8.2.4 值函数的近似计算8.2.5 Markov链8.2.6 具有Markov链的Ramsey模型8.2.1 随机Ramsey问题l 无限期界的随机Ramsey模型/随机增长模型： （8.23）其中，为劳动为常数时的总增加值，为随机冲击，表示因而导致的随机折旧。n 问题（8.23）的特点1. 期的产出不仅依赖于资本，而且依赖于随机变量的实现值。假设经
8、济主体了解当期的发生概率。2. 经济主体在现期仅选择现期消费。而在确定性情形中，经济主体在将来并没有新的信息，因此可以决定从现在到遥远将来的消费。确定性情形下的决策问题为开环控制（open-loop control），而随机情形下的决策问题为闭环控制（close-loop control）。由于未来消费是随机变量，因此将期的消费推迟到期进行决策对经济主体来说是更好的选择。经济主体的目标是实现一生效用的期望值的最大化，表示与随机变量序列的概率分布有关的基于期时的可得信息的条件期望。8.2.2 随机Euler方程l Lagrange方法随机Euler方程：（8.26a）状态方程： （8.26b）横
9、截性条件： （8.26c）8.2.3 随机Bellman方程l 问题（8.23）的重新表述（8.27）n 在任意第期，问题等价表达为：(8.28)n 称解函数为计划（plan），并且记为n 满足：8.2.4 值函数的近似计算l 考虑随机变量以概率分别取值的随机Ramsey问题（8.27）。l 方程（8.28）可表示为两个Bellman方程：n 其中明表示为。n 通过值函数迭代过程，可以得到收敛于理想的值函数对的函数序列对。n 数值计算n 生产函数n 单期效用函数n ，n 随机状态变量值：，。n 猜测初始值函数为。图8.3 值函数迭代图8.4 计划8.2.5 Markov链 l 随机过程(sto
10、chastic process)n 指随机变量的时间序列n 若，则离散值的(discrete valued)；n 若，则连续值的(continuous valued)。n 若的分布只取决于的取值，即： (8.29)则称随机过程具有Markov性质(Markov property)。例8.2 Markov过程的例子一阶自回归过程(first-order autoregressive process)AR(1):其中称为AR(1)的新息(innovation)。给定，下一期冲击服从正态分布，均值，方差。任意高阶自回归过程都可以转化为AR(1) l Markov链：指离散值的Markov过程n 构成
11、1一个维向量记录的可能值. 一个维向量记录了0期的状态.一个阶转移矩阵(transition matrix)刻画期状态为，下一时期状态转移为的概率，即。n 从第期到第期状态转移的概率其中是阶转移矩阵的元素。l 无条件概率分布的变化遵循 (8.32)第期时状态的无条件概率分布决定于：其中是向量，它的第个元素是l 平稳(stationary)或不变(invariant)分布n 指分布随时间的推移是不变的，即n 平稳分布满足：(8.33)这意味着是与的一个单位特征根对应的一个特征向量（标准化后满足）。n 平稳分布可能是唯一的，也可能不是唯一的。l 定义8.1n Markov链是渐近平稳的且具有唯一的
12、不变分布设是满足的唯一向量，若对所有的初始分布，都收敛于同一个n 定理8.1设为随机矩阵，并且对任意，或者对某些整数，的所有元素 有唯一的不变分布，并且过程是渐近平稳的。例8.3矩阵8.2.6 具有Markov链的Ramsey模型l 具有Markov链的随机Bellman方程其中“”表示期望值以的实现为条件。l 具有Markov链的随机Ramsey模型：n 设转移矩阵：n 第次的值函数迭代为：图8.5具有Markov链的计划n 图8.5和图8.4相似，但不完全相同，因此条件分布是不同的。n 在具有Markov链的随机Ramsey 模型中，由于随机变量在现期的实现值取决于上一期，因此状态变量呈现明显的持续性(persistence)。39
