状态空间模型和卡尔曼滤波课件.pptx

1、10状态空间模型和卡尔曼状态空间模型和卡尔曼滤波滤波 在一般的统计模型中出现的变量都是可以观测到的，在一般的统计模型中出现的变量都是可以观测到的，这些模型以反映过去经济变动的时间序列数据为基础，利这些模型以反映过去经济变动的时间序列数据为基础，利用回归分析或时间序列分析等方法估计参数，进而预测未用回归分析或时间序列分析等方法估计参数，进而预测未来的值。状态空间模型的特点是提出了来的值。状态空间模型的特点是提出了“”这一概念。这一概念。而实际上，无论是工程控制问题中出现的某些状态而实际上，无论是工程控制问题中出现的某些状态（如导弹轨迹的控制问题）还是经济系统所存在的某些状（如导弹轨迹的控制问题）

2、还是经济系统所存在的某些状态都是一种不可观测的变量，正是这种观测不到的变量反态都是一种不可观测的变量，正是这种观测不到的变量反映了系统所具有的真实状态，所以被称为映了系统所具有的真实状态，所以被称为。这种。这种(Unobservable Component Model)。2 UC模型通过通常的回归方程式来估计是不可能的，模型通过通常的回归方程式来估计是不可能的，必须利用状态空间模型来求解。必须利用状态空间模型来求解。，从而可以通过估，从而可以通过估计各种不同的状态向量达到分析和观测的目的。计各种不同的状态向量达到分析和观测的目的。EViews状态空间对象对单方程或多方程动态系统提状态空间对象对

3、单方程或多方程动态系统提供了一个直接的、易于使用的界面来建立、估计及分析供了一个直接的、易于使用的界面来建立、估计及分析方程结果。它提供了大量的建立、平滑、滤波及预测工方程结果。它提供了大量的建立、平滑、滤波及预测工具，帮助我们利用状态空间形式来分析动态系统。具，帮助我们利用状态空间形式来分析动态系统。3 利用状态空间形式表示动态系统主要有两个优点：利用状态空间形式表示动态系统主要有两个优点：第一，状态空间模型将不可观测的变量第一，状态空间模型将不可观测的变量(状态变量状态变量)并入可观测模型并与其一起得到估计结果；并入可观测模型并与其一起得到估计结果；其次，状态空间模型是利用强有效的递归算法

4、其次，状态空间模型是利用强有效的递归算法来估计的。卡尔曼滤波可以用来估计单变量来估计的。卡尔曼滤波可以用来估计单变量和多变量的和多变量的ARMA模型模型、MIMIC（多指标和多因果）模（多指标和多因果）模型、马尔可夫转换模型以及变参数模型。型、马尔可夫转换模型以及变参数模型。456789101112 这里仅就如何定义并预测一个线性状态空间模型做以这里仅就如何定义并预测一个线性状态空间模型做以简要的讨论。状态空间模型一般应用于多变量时间序列。设简要的讨论。状态空间模型一般应用于多变量时间序列。设 yt 是包含是包含 k 个经济变量的个经济变量的 k 1 维可观测向量。这些变量与维可观测向量。这些

5、变量与 m 1 维向量维向量 t 有关有关，。定义。定义“”(measurement equation)或称或称“”(signal equation)为为(1.1)其中：其中：T 表示样本长度，表示样本长度，表示表示 k m 矩阵矩阵，称为称为，dt 表示表示 k 1 向量，向量，ut 表示表示 k 1 向量，是均值为向量，是均值为0，协方差矩，协方差矩阵为阵为 Ht 的不相关扰动项，即的不相关扰动项，即(1.2)13 一般地，一般地，t 的元素是不可观测的，然而可表示成一阶马的元素是不可观测的，然而可表示成一阶马尔可夫尔可夫(Markov)过程。下面定义过程。下面定义(transition

6、equation)或称或称(state equation)为为(1.3)其中：其中：表示表示 m m 矩阵矩阵，称为称为，ct 表示表示 m 1 向量向量，Rt 表示表示 m g 矩阵，矩阵，t 表示表示 g 1 向量，是均值为向量，是均值为0，协方差矩阵，协方差矩阵为为 Qt 的连续的不相关扰动项，即的连续的不相关扰动项，即(1.4)量测方程和状态方程的扰动项的协方差矩阵用量测方程和状态方程的扰动项的协方差矩阵用 表示表示14 当当 k 1 时，变为单变量模型，量测方程可以写为时，变为单变量模型，量测方程可以写为 (1.5)其中：其中：Zt 表示表示 1 m 矩阵矩阵，t 表示表示 m 1状

7、态向量，状态向量，ut 是方是方差为差为 2 的扰动项的扰动项。15 若使上述的状态空间模型成立，还需要满足下面两个假定：若使上述的状态空间模型成立，还需要满足下面两个假定：(1)初始状态向量初始状态向量 0 的均值为的均值为 a0，协方差矩阵为协方差矩阵为 P0，即即 (1.6)(2)在所有的时间区间上，扰动项在所有的时间区间上，扰动项 ut 和和 t 相互独立，而且相互独立，而且它们和初始状态它们和初始状态 0 也不相关，即也不相关，即 (1.7)且且 (1.8)16 量测方程中的矩阵量测方程中的矩阵 Zt,dt,Ht 与转移方程中的矩阵与转移方程中的矩阵Tt,ct,Rt,Qt 统称为统称

8、为。如不特殊指出，它们都。如不特殊指出，它们都被假定为非随机的。因此，尽管它们能随时间改变，被假定为非随机的。因此，尽管它们能随时间改变，但是都是可以预先确定的。对于任一时刻但是都是可以预先确定的。对于任一时刻 t，yt 能够被能够被表示为当前的和过去的表示为当前的和过去的 ut 和和 t 及初始向量及初始向量 0 的线性组的线性组合，所以模型是线性的。合，所以模型是线性的。17 (1.9)其中：其中：E(t)=0，var(t)=2，cov(t,t-s)=0,通过定义状态向量通过定义状态向量 t=(yt,t)可以写成状态空间形式可以写成状态空间形式 量测方程量测方程：(1.10)状态方程状态方

9、程：(1.11)这种形式的特点是不存在量测方程噪声这种形式的特点是不存在量测方程噪声。18 对于任何特殊的统计模型，状态向量对于任何特殊的统计模型，状态向量 t 的定义是的定义是由结构确定的。它的元素一般包含具有实际解释意义的由结构确定的。它的元素一般包含具有实际解释意义的成分，例如趋势或季节要素。状态空间模型的目标是，成分，例如趋势或季节要素。状态空间模型的目标是，所建立的状态向量所建立的状态向量 t 包含了系统在时刻包含了系统在时刻 t 的所有有关信的所有有关信息，同时又使用尽可能少的元素。所以如果状态空间模息，同时又使用尽可能少的元素。所以如果状态空间模型的状态向量具有最小维数，则称为型

10、的状态向量具有最小维数，则称为(Minimal Realization)。对一个好的状态空间模型，最小实现是一。对一个好的状态空间模型，最小实现是一个基本准则。然而对于任一特殊问题的状态空间模型的个基本准则。然而对于任一特殊问题的状态空间模型的表示形式却不是惟一的，这一点很容易验证。表示形式却不是惟一的，这一点很容易验证。19 考虑通过定义一个任意的非奇异矩阵考虑通过定义一个任意的非奇异矩阵B，得到得到 t*=B t ，为新的状态向量。用为新的状态向量。用B矩阵左乘状态方程矩阵左乘状态方程(1.3)，得到，得到 (1.12)式中式中Tt*=BTt B-1，ct*=Bct，Rt*=BRt。相应的

11、量测方程。相应的量测方程是是 (1.13)式中式中 Zt*=Zt B-1 。20例例1.2 二阶自回归模型二阶自回归模型AR(2)(1.14)其中：其中：E(ut)=0，var(ut)=2，cov(ut,ut-s)=0,考虑两个可能的考虑两个可能的状态空间形式状态空间形式(k=1,m=2)是是 (1.15)(1.16)换一种形式换一种形式 (1.17)21 系统矩阵系统矩阵 Zt，Ht，Tt，Rt，Qt 可以依赖于一个可以依赖于一个的集合。状态空间模型的一个主要的任务就是估计这些参的集合。状态空间模型的一个主要的任务就是估计这些参数，在例数，在例11.1的的MA(1)模型中的参数模型中的参数

12、,2 和例和例11.2的的AR(2)模型中的参数模型中的参数 1，2，2 是未知的，这些参数将通过是未知的，这些参数将通过 向量表示，并被称为向量表示，并被称为。超参数确。超参数确定了模型的随机性质，在定了模型的随机性质，在 ct 和和 dt 中出现的参数仅影响确定性中出现的参数仅影响确定性的可观测变量和状态的期望值。在状态空间模型中可以引入的可观测变量和状态的期望值。在状态空间模型中可以引入外生变量作为解释变量，也可以引入外生变量作为解释变量，也可以引入 yt 的延迟变量，这些都的延迟变量，这些都可以放到可以放到 dt 中去。如果中去。如果 ct 或或 dt 是未知参数的一个线性函数，是未知

13、参数的一个线性函数，这些未知参数也可以作为状态变量或者超参数的一部分元素。这些未知参数也可以作为状态变量或者超参数的一部分元素。22 通常的回归模型可用下式表示，即通常的回归模型可用下式表示，即：其中：其中：yt是因变量，是因变量，xt是是m 1的解释变量向量，的解释变量向量，是待估计的是待估计的m 1未知参数向量，未知参数向量，ut是扰动项。这种回归方程式所估计的参是扰动项。这种回归方程式所估计的参数在样本期间内是固定的，可以采用普通最小二乘法数在样本期间内是固定的，可以采用普通最小二乘法(OLS)、工具变量法等计量经济模型的常用方法进行估计。工具变量法等计量经济模型的常用方法进行估计。23

14、 实际上近年来，我国由于经济改革、各种各样的外界冲击实际上近年来，我国由于经济改革、各种各样的外界冲击和政策变化等因素的影响，经济结构正在逐渐发生变化，而用和政策变化等因素的影响，经济结构正在逐渐发生变化，而用固定参数模型表现不出来这种经济结构的变化，因此，需要考固定参数模型表现不出来这种经济结构的变化，因此，需要考虑采用虑采用(Time-varying Parameter Model)。下面利用。下面利用状态空间模型来构造变参数模型。状态空间模型来构造变参数模型。量测方程：量测方程：状态方程：状态方程：24 xt 是具有随机系数是具有随机系数 t 的解释变量的集合，的解释变量的集合，zt 是

15、有固是有固定系数定系数 的解释变量集合，随机系数向量的解释变量集合，随机系数向量 t 是对应于例是对应于例1.3中的状态向量，称为可变参数。中的状态向量，称为可变参数。假定变参数。假定变参数 t 的变动服从于的变动服从于AR(1)模型（也可以简单地扩展为模型（也可以简单地扩展为AR(p)模型），扰动向量模型），扰动向量 ut,t 假定为相互独立的，且服从均值假定为相互独立的，且服从均值为为0，方差为，方差为 2和协方差矩阵为和协方差矩阵为 Q 的正态分布。的正态分布。2526 当一个模型被表示成状态空间形式就可以对其应用当一个模型被表示成状态空间形式就可以对其应用一些重要的算法求解。这些算法的

16、核心是一些重要的算法求解。这些算法的核心是Kalman滤波。滤波。Kalman滤波是在时刻滤波是在时刻 t 基于所有可得到的信息计算状态基于所有可得到的信息计算状态向量的最理想的递推过程。在某些工程问题中，状态向量向量的最理想的递推过程。在某些工程问题中，状态向量的当前值具有重要影响的当前值具有重要影响(例如，它可以表示火箭在空间的例如，它可以表示火箭在空间的坐标坐标)。Kalman滤波的主要作用是：当扰动项和初始状态滤波的主要作用是：当扰动项和初始状态向量服从正态分布时，能够通过预测误差分解计算似然函向量服从正态分布时，能够通过预测误差分解计算似然函数，从而可以对模型中的所有未知参数进行估计

17、，并且当数，从而可以对模型中的所有未知参数进行估计，并且当新的观测值一旦得到，就可以利用新的观测值一旦得到，就可以利用Kalman滤波连续地修滤波连续地修正状态向量的估计。正状态向量的估计。272829 以下设以下设 YT 表示在表示在 t=T 时刻所有可利用的信息的信息时刻所有可利用的信息的信息集合，即集合，即 YT=yT,yT-1,y1 。状态向量的估计问题根。状态向量的估计问题根据信息的多少分为据信息的多少分为3种类型：种类型：(1)当当 t T 时，超出样本的观测区间，是对未来状态时，超出样本的观测区间，是对未来状态的估计问题，称为的估计问题，称为；(2)当当 t=T 时，估计观测区间

18、的最终时点，即对现在时，估计观测区间的最终时点，即对现在状态的估计问题，称为状态的估计问题，称为；(3)当当 t T 时，是基于利用现在为止的观测值对过去时，是基于利用现在为止的观测值对过去状态的估计问题，称为状态的估计问题，称为。30 进一步，假定进一步，假定 at t-1 和和 Pt t-1 分别表示以利用到分别表示以利用到 t-1 为止为止的信息集合的信息集合 Yt-1 为条件的状态向量为条件的状态向量 t 的条件均值和条件误的条件均值和条件误差协方差矩阵，即差协方差矩阵，即 在这里假定系统矩阵在这里假定系统矩阵 Zt,Ht,Tt,Rt 和和 Qt 是已知的，设是已知的，设初始状态向量初

19、始状态向量 0 的均值和误差协方差矩阵的初值为的均值和误差协方差矩阵的初值为 a0 和和 P0，并假定，并假定 a0 和和 P0 也是已知的。也是已知的。31 考虑状态空间模型考虑状态空间模型(1.1)和和(1.3)，设，设，也是基于信息集合，也是基于信息集合 Yt-1 的的 t-1 的的，Pt-1 表示估计误差的表示估计误差的 m m 协方差矩阵，即协方差矩阵，即 (2.1)32 Kalman滤波的初值可以按滤波的初值可以按 a0 和和 P0 或或 a1 0 和和 P1 0 指定。这样，每当得到一个观测值时，指定。这样，每当得到一个观测值时，Kalman滤波提供滤波提供了状态向量的最优估计。

20、当所有的了状态向量的最优估计。当所有的 T 个观测值都已处理，个观测值都已处理，Kalman滤波基于信息集合滤波基于信息集合 YT，产生当前状态向量和下，产生当前状态向量和下一时间期间状态向量的最优估计。这个估计包含了产生一时间期间状态向量的最优估计。这个估计包含了产生未来状态向量和未来观测值的最优预测所需的所有信息。未来状态向量和未来观测值的最优预测所需的所有信息。33 平滑（平滑（smoothing）(t=T-1,T-2,1)(2.10)(2.11)其中：其中：aT|T,PT|T 是平滑的初值，由是平滑的初值，由Kalman滤波最后的迭代滤波最后的迭代得到。得到。还可以计算得到还可以计算得

21、到 yt 的平滑估计和协方差矩阵的平滑估计和协方差矩阵34 一步向前预测误差向量一步向前预测误差向量 (2.14)预测误差协方差矩阵由式预测误差协方差矩阵由式(2.6)的的 Ft 给定，即给定，即 (2.15)由后面由后面2.2节的论述可以知道条件均值节的论述可以知道条件均值 是是 yt 的最的最小均方误差意义的最优估计量小均方误差意义的最优估计量(MMSE)。因此，可以利用式。因此，可以利用式(2.13)，以及，以及Kalman滤波公式滤波公式(2.2)(2.6)，对，对 yt，t（t=T+1,T+2,）进行预测。）进行预测。35Kalman滤波的导出依赖于扰动项和初始状态向量滤波的导出依赖

22、于扰动项和初始状态向量服从正态分布的假设。有了正态分布的假设，就能够基服从正态分布的假设。有了正态分布的假设，就能够基于信息集合于信息集合 YT=yT,yT-1,y1 ，利用，利用Kalman滤波递滤波递推地计算推地计算 t 的分布。这些条件分布自身也都服从正态分的分布。这些条件分布自身也都服从正态分布，因此也就由它们的均值和协方差矩阵完全确定，这布，因此也就由它们的均值和协方差矩阵完全确定，这就是就是Kalman滤波计算的估计量。为了说明滤波计算的估计量。为了说明 t 的条件均值的条件均值 是是 t 在最小均方误差意义下的一个最优估计量，下面首在最小均方误差意义下的一个最优估计量，下面首先介

23、绍均方误差和最小均方估计的概念。先介绍均方误差和最小均方估计的概念。36 设设 z 是随机向量，已知样本集合是随机向量，已知样本集合 ZT=zT,zT-1,z1 ，是基于是基于ZT的的z的任一估计量，则定义均方误差（的任一估计量，则定义均方误差（mean square error，MSE）为）为 (2.16)设设 是基于是基于 ZT 的的 z 的任一估计量，的任一估计量，是其中使均方误是其中使均方误差达到最小的差达到最小的 z 的估计量，即的估计量，即 (2.17)则称则称 为为z的最小均方估计的最小均方估计(mininum mean square estimator，MMSE)。37 Kal

24、man滤波以信息集滤波以信息集 Yt 为条件，产生为条件，产生 t 的条件的条件均值和方差均值和方差 (2.18)(2.19)其中：数学期望算子下面的下标其中：数学期望算子下面的下标 t 表示是关于表示是关于 Yt 的条件的条件期望。期望。38 设设 是以信息集是以信息集 Yt 为条件的为条件的 t 的任一估计量，估计误的任一估计量，估计误差可以被分为两个部分差可以被分为两个部分 (2.20)对式对式(2.20)两端平方，并求期望值，经过计算，由于混两端平方，并求期望值，经过计算，由于混合乘积项为零，得到合乘积项为零，得到 (2.21)在式在式(2.21)等号右边的第一项是等号右边的第一项是

25、t 的条件方差，由于的条件方差，由于var(t Yt)0，且与估计量，且与估计量 无关，因此要想使式无关，因此要想使式(2.21)达到达到最小，只需在第二项取最小，只需在第二项取 即可。也就是说，即可。也就是说，t 的最小均方估计的最小均方估计(MMSE)就是由就是由Kalman滤波所得到的条件均滤波所得到的条件均值值 at=E(t Yt)，并且是惟一的。，并且是惟一的。39 当状态空间模型的扰动项的分布不能满足正态分布假当状态空间模型的扰动项的分布不能满足正态分布假定时，一般地，定时，一般地，Kalman滤波所产生的估计量滤波所产生的估计量 at 不再是状态不再是状态向量向量 t 的条件均值

26、，换句话说，式的条件均值，换句话说，式(2.18)将不成立。但是如将不成立。但是如果限制估计量是观测值的线性组合，即在所有线性估计范围果限制估计量是观测值的线性组合，即在所有线性估计范围内，内，at 是具有最小均方误差意义上的最优估计量。此时称是具有最小均方误差意义上的最优估计量。此时称at 是基于信息集是基于信息集 Yt 的的 t 的最小均方线性估计量的最小均方线性估计量(minimum mean square linear estimator，MMSLE)，估计误差的协方，估计误差的协方差矩阵是由差矩阵是由Kalman滤波给出的滤波给出的 Pt 矩阵。矩阵。40 进一步地，上述关于状态向量

27、进一步地，上述关于状态向量 t 的论述也可以类的论述也可以类似地用来解释似地用来解释 yt 基于信息集基于信息集 Yt1 的条件均值，用的条件均值，用 表表示，即示，即 (2.22)在正态假定下，在正态假定下，是是 yt 在最小均方误差意义下在最小均方误差意义下的最优估计量的最优估计量(MMSE)，并且在不满足正态假定时，是，并且在不满足正态假定时，是 yt 的最小均方线性估计量的最小均方线性估计量(MMSLE)。41 预测误差预测误差 (2.23)被称为被称为，因为它代表在，因为它代表在 Yt-1 的基础上新观测的基础上新观测值值 yt 所带来的信息。从更新方程所带来的信息。从更新方程(2.

28、4)中可以看出，新息中可以看出，新息 vt 对修对修正状态向量的估计量起到了关键的作用。正状态向量的估计量起到了关键的作用。在正态假定下，根据在正态假定下，根据 是最小均方误差意义下的最优估是最小均方误差意义下的最优估计量，可以推断计量，可以推断 vt 的均值是零向量。进一步地，从式的均值是零向量。进一步地，从式(2.23)容易容易看出看出 (2.24)其中：其中：Ft 由式由式(2.6)给定。在不同的时间区间，新息给定。在不同的时间区间，新息 vt 是不相关是不相关的，即的，即,(2.25)42 当量测方程和转移方程的扰动项是相关的时候，需要修当量测方程和转移方程的扰动项是相关的时候，需要修

29、改改Kalman滤波。考虑具有量测方程和转移方程的状态空间形滤波。考虑具有量测方程和转移方程的状态空间形式式 (2.26)(2.27)假设假设(2.28)其中其中 Gt 是已知的是已知的 g k 矩阵。量测方程和状态方程的扰动项矩阵。量测方程和状态方程的扰动项的协方差矩阵用的协方差矩阵用 表示表示 43 注意当量测方程和转移方程的干扰项在同时点相关，注意当量测方程和转移方程的干扰项在同时点相关，在不同时点不相关时，在不同时点不相关时，Kalman滤波中的预测公式滤波中的预测公式(2.2)，(2.3)不变，更新方程进行如下修改：在不变，更新方程进行如下修改：在(2.4)和式和式(2.5)中矩中矩

30、阵阵 Pt t 1Zt 变为变为 Pt t 1Zt +Rt Gt，式，式(2.6)变为变为 (2.29)44 在许多实际应用问题中，状态空间模型的系统矩阵在许多实际应用问题中，状态空间模型的系统矩阵 Zt，dt，Ht，Tt，ct，Rt 和和 Qt 都是不依赖于时间变化的，这样就都是不依赖于时间变化的，这样就可以写成不带时间下标的模型，称为非时变模型。一般允许可以写成不带时间下标的模型，称为非时变模型。一般允许 ct 和和 dt 是依时间变化的，于是状态空间模型的量测方程是依时间变化的，于是状态空间模型的量测方程(1.1)和转移方程和转移方程(1.3)就可以写为就可以写为 (2.32)(2.33

31、),(2.34)45 如果系统是稳定的，则转移矩阵如果系统是稳定的，则转移矩阵 T 的所有的特征根的的所有的特征根的模应当小于模应当小于1，即，即 (2.35)且如果初始协方差矩阵且如果初始协方差矩阵 P1 0 是非负定的，则是非负定的，则 (2.36)独立于独立于 P1 0，Pt+1 t 呈指数地迅速收敛到呈指数地迅速收敛到 。46 (1)仅当状态转移矩阵仅当状态转移矩阵 T,方差矩阵方差矩阵 P 和和 Q 是非时变的且是非时变的且满足某些稳定性条件，初始条件的求解才是可能的。如果初始满足某些稳定性条件，初始条件的求解才是可能的。如果初始条件的求解是可能的，可以利用关系式：条件的求解是可能的

32、，可以利用关系式：在更复杂的模型中给出求协方差矩阵初始条件在更复杂的模型中给出求协方差矩阵初始条件 P0 的一种的一种方法方法(2.37)式中式中Vec()算子是把矩阵拉直，即表示矩阵的列是一列接着算子是把矩阵拉直，即表示矩阵的列是一列接着一列而形成一个向量，而运算符一列而形成一个向量，而运算符 表示克罗内克积表示克罗内克积(kronecker product)，I 为单位矩阵。为单位矩阵。47 (2)如果初始条件的求解是不可能的，状态将按扩如果初始条件的求解是不可能的，状态将按扩散先验处理。当利用扩散先验时，采用散先验处理。当利用扩散先验时，采用Koopman，Shephard和和Doorn

33、ik(1998)提出的方法将设置提出的方法将设置 0=0 和和 P0=I，这里，这里 为一个任意的大数。如设为一个任意的大数。如设 =106，然后，然后通过乘以残差协方差矩阵的最大的对角线元素调整通过乘以残差协方差矩阵的最大的对角线元素调整 P。48 在在1.2节讨论利用节讨论利用Kalman滤波递推公式求状态向量的滤波递推公式求状态向量的估计量时，假定状态空间模型的系统矩阵估计量时，假定状态空间模型的系统矩阵 Zt,Ht,Tt,Rt 和和 Qt 是已知的。但实际上是已知的。但实际上。例。例如，在例如，在例1.1的一阶移动平均模型的一阶移动平均模型MA(1)中中 =(,2)，在，在例例1.2的

34、二阶自回归模型的二阶自回归模型AR(2)中中 =(1,2,2)。本节对。本节对于状态空间模型的量测方程于状态空间模型的量测方程(1.1)和状态方程和状态方程(1.3)中含有未中含有未知参数的情况，介绍超参数的估计方法。知参数的情况，介绍超参数的估计方法。49 在许多问题中，特别在关于正态分布的各种估计问题中，在许多问题中，特别在关于正态分布的各种估计问题中，极大似然法是最常用的方法，这主要表现在极大似然估计量极大似然法是最常用的方法，这主要表现在极大似然估计量常具有某些优良的性质。这里采用极大似然法估计未知的超常具有某些优良的性质。这里采用极大似然法估计未知的超参数。参数。极大似然法的原理通常

35、用于观测值极大似然法的原理通常用于观测值 y1,y2,yT 相互独相互独立且具有同样分布的情形，此时它们的联合概率函数被给定立且具有同样分布的情形，此时它们的联合概率函数被给定为为 (3.1)其中：其中：P(yt)是第是第 t 个观测值的概率密度函数。个观测值的概率密度函数。L(y;)是样是样本本y1,y2,yT 的联合概率密度函数。一旦得到样本观测值，的联合概率密度函数。一旦得到样本观测值，L(y;)就可以被解释为似然函数，并且可以通过关于就可以被解释为似然函数，并且可以通过关于 求求偏导数，使函数偏导数，使函数L(y;)达到最大来求出达到最大来求出 的极大似然估计。的极大似然估计。50 然

36、而，经济时间序列的一个重要特征是经济变量间是不然而，经济时间序列的一个重要特征是经济变量间是不独立的，因此不能用式独立的，因此不能用式(3.1)，而是利用条件概率密度函数代替，而是利用条件概率密度函数代替联合概率密度函数将似然函数表示为联合概率密度函数将似然函数表示为 (3.2)其中：其中：P(yt Yt-1)表示表示 yt 以直到时刻以直到时刻 t-1 的信息集合为条件的条的信息集合为条件的条件分布，即件分布，即 Yt-1=yt-1,yt-2,y1，P(yt Yt-1)=P(yt y1,yt-1)。51 在总体正态的假定之下，可以将式在总体正态的假定之下，可以将式(3.2)的对数似然函数的对

37、数似然函数直接写为直接写为 (3.3)其中其中 (3.4)由前面由前面2.2节的论述可以知道条件均值节的论述可以知道条件均值 是是 yt 的最小均方的最小均方误差意义的最优估计量误差意义的最优估计量(MMSE)，所以，所以 k 1 向量向量 vt 可以作为可以作为一个预测误差向量来解释。因此一个预测误差向量来解释。因此(3.3)式有时也称为似然函数式有时也称为似然函数形式的预测误差分解。形式的预测误差分解。52 极大似然估计量的计算方法有许多种，有解析方法，也极大似然估计量的计算方法有许多种，有解析方法，也有数值解法。设有数值解法。设 =(1,2,n)是待求的未知参数向量，是待求的未知参数向量

38、，首先求极大似然估计的迭代公式。为求极大似然估计，需要首先求极大似然估计的迭代公式。为求极大似然估计，需要求解求解 设设 是超参数向量的精确值，采用是超参数向量的精确值，采用Taylor展开式，取一展开式，取一次 近 似，并 设次 近 似，并 设 表 示 参 数 空 间 上 的 任 意 一 点，则 可 将表 示 参 数 空 间 上 的 任 意 一 点，则 可 将 lnL(y;)/表示成表示成 53令其为令其为0，可得，可得 于是得到于是得到其中：其中：l=1,2,，从某个初始设定的参数值从某个初始设定的参数值 (0)出发，进行出发，进行迭代过程：迭代过程：(1),(2),(3),。54 求求(

39、l)(l=1,2,)，它的收敛值，它的收敛值 为所求的极大似然估计。式中对数似然函数的为所求的极大似然估计。式中对数似然函数的，而对数似然函数的，而对数似然函数的。计算海塞。计算海塞(Hessian)矩阵的逆矩阵，计算量是很大的。计算方法有多种，矩阵的逆矩阵，计算量是很大的。计算方法有多种，近似的方法可节省时间但缺少严密性，而严密的方法又有计近似的方法可节省时间但缺少严密性，而严密的方法又有计算时间长的缺点。算时间长的缺点。55被定义为：被定义为：而而则由下式计算：则由下式计算：这里这里 logL 是似然函数，是似然函数，s 充分接近充分接近 0，上述公式可达到任，上述公式可达到任意精度。双侧

40、导数更加精确，但它要对似然函数进行的计算意精度。双侧导数更加精确，但它要对似然函数进行的计算量大概是单侧导数的两倍，运行时间上也是如此。量大概是单侧导数的两倍，运行时间上也是如此。56 EViews可以处理大量的单方程和多方程状态空间模型，提供了指定可以处理大量的单方程和多方程状态空间模型，提供了指定系统方程、协方差矩阵和初始条件控制的详细方法。系统方程、协方差矩阵和初始条件控制的详细方法。在定义和估计一个状态空间模型时，第一步是创建一个状态空间对象。在定义和估计一个状态空间模型时，第一步是创建一个状态空间对象。从主菜单中选择从主菜单中选择Objects/New Object/Sspace，或

41、在命令窗口键入命令，或在命令窗口键入命令sspace。EViews将创建一个状态空间对象，并打开一个空的状态空间说明窗口。将创建一个状态空间对象，并打开一个空的状态空间说明窗口。57 有两种方法定义一个状态空间模型，最简单的方法就有两种方法定义一个状态空间模型，最简单的方法就是利用是利用EViews中的中的“自动指定自动指定”功能引导状态空间模型的标功能引导状态空间模型的标准形式。这种方式只需在状态空间过程准形式。这种方式只需在状态空间过程Procs中选择中选择Define State Space功能功能，就可以弹出定义对话框，指导创建一个，就可以弹出定义对话框，指导创建一个状态空间的过程。状

42、态空间的过程。描述状态空间模型的更一般方法是使用关键字和文本描述状态空间模型的更一般方法是使用关键字和文本来描述量测方程、状态方程、误差结构、初始条件和待估来描述量测方程、状态方程、误差结构、初始条件和待估参数的初值。下面来介绍描述状态空间对象的一般语法。参数的初值。下面来介绍描述状态空间对象的一般语法。58 作为缺省，如果一个方程通过关键字作为缺省，如果一个方程通过关键字“”来明确定义，或来明确定义，或没有用关键字，没有用关键字，EViews将把其作为量测方程处理。要注意以下几点：将把其作为量测方程处理。要注意以下几点：（1）量测方程的因变量可以包含表达式。）量测方程的因变量可以包含表达式。

43、（2），包括出现，包括出现在右端表达式的所有变量。在量测方程中任何滞后量测变量都被看作多在右端表达式的所有变量。在量测方程中任何滞后量测变量都被看作多步向前预测的预测值看待。步向前预测的预测值看待。（3）。状态向量的非线性。状态向量的非线性或存在超前或滞后状态变量将导致错误的信息。或存在超前或滞后状态变量将导致错误的信息。（4）量测方程中可以包含外生变量和未知参数，也可以是这些元素）量测方程中可以包含外生变量和未知参数，也可以是这些元素的非线性形式。的非线性形式。量测方程可以包含误差或误差方差指定的选项，如果方程中不包含量测方程可以包含误差或误差方差指定的选项，如果方程中不包含误差或误差方差，

44、方程是确定性的。状态空间模型中误差指定的详细内误差或误差方差，方程是确定性的。状态空间模型中误差指定的详细内容参看后面的容参看后面的“误差和方差误差和方差”。59 下面是有效的量测方程的定义（注：下面量测方程中的下面是有效的量测方程的定义（注：下面量测方程中的sv1,sv2,sv3,sv4是状态向量）是状态向量）signal y=sv1+sv2*x1+sv3*x2+sv4*y(-1)+var=exp(c(1)log(p)=sv1+c(1)+c(3)*x+sv2*y z=c(1)+sv1+sv2*x1+sv3*x2+var=exp(c(2)下面是不正确的方程的指定：下面是不正确的方程的指定：si

45、gnal y=sv1*sv2*x1+var=exp(c(1)log(p)=c(1)+c(3)*x+sv1(-1)z=sv1+sv2*x1+c(3)*z(+1)+c(1)+var=exp(c(2)因为它们至少违背了上面描述条件中的一个条件（其顺序是：状态因为它们至少违背了上面描述条件中的一个条件（其顺序是：状态向量的非线性、状态向量的滞后、量测向量的超前）。向量的非线性、状态向量的滞后、量测向量的超前）。60 状态方程的定义必须包含关键字状态方程的定义必须包含关键字“”，后面跟随一个有效的状，后面跟随一个有效的状态方程。必须注意以下几点：态方程。必须注意以下几点：(1)。因为因为EViews对状

46、态方程不能自动建立工作文件序列。对状态方程不能自动建立工作文件序列。(2)，或因变量的超前和滞后变，或因变量的超前和滞后变量。量。(3)每一个状态方程每一个状态方程。如果在状态。如果在状态方程中存在状态变量的非线性关系、同期、超前或多期滞后将产生错误信息。方程中存在状态变量的非线性关系、同期、超前或多期滞后将产生错误信息。需要强调的是，在状态方程中一期滞后约束条件不是限定的，因为更高阶的需要强调的是，在状态方程中一期滞后约束条件不是限定的，因为更高阶的滞后被当作新的状态变量。滞后被当作新的状态变量。(4)状态方程中可以包含外生变量和未知参数，可以是它们的非线性形状态方程中可以包含外生变量和未知

47、参数，可以是它们的非线性形式。式。在状态方程中还包含误差或误差方差指定选项。如果在方程中不包含误在状态方程中还包含误差或误差方差指定选项。如果在方程中不包含误差或误差方差，状态方程被假定为确定的。关于状态空间模型误差结构指定差或误差方差，状态方程被假定为确定的。关于状态空间模型误差结构指定的详细介绍参看后面的的详细介绍参看后面的“误差和方差误差和方差”。61 下面两个状态方程定义了一个服从下面两个状态方程定义了一个服从AR(2)过程的不可观测误差过程的不可观测误差:state sv1=c(2)*sv1(-1)+c(3)*sv2(-1)+var=exp(c(5)state sv2=sv1(-1)

48、第一个关于第一个关于sv1的方程，根据的方程，根据AR(1)的系数的系数c(2)，和，和AR(2)的系数的系数c(3)，确定确定AR(2)模型的参数。误差方差的指定在方框中给出。模型的参数。误差方差的指定在方框中给出。sv2的状态方程定义的状态方程定义为变量为变量sv1的一步滞后，所以的一步滞后，所以sv2(-1)表示表示sv1的两步滞后。的两步滞后。下面是不正确的状态方程：下面是不正确的状态方程：state exp(sv1)=sv1(-1)+var=exp(c(3)state sv2=log(sv2(-1)+var=exp(c(3)state sv3=c(1)+c(2)*sv3(-2)+va

49、r=exp(c(3)因为它们至少违背了上面描述条件中的一个条件（其次序是：状态方程因为它们至少违背了上面描述条件中的一个条件（其次序是：状态方程因变量是表示式，状态变量是非线性的，出现状态变量的多期滞后）。因变量是表示式，状态变量是非线性的，出现状态变量的多期滞后）。62 在误差项的处理中，状态空间对象方程的指定在某种程度上是唯在误差项的处理中，状态空间对象方程的指定在某种程度上是唯一的。一的。EViews总是把一个隐含的误差项加到一个方程或系统对象的各个总是把一个隐含的误差项加到一个方程或系统对象的各个方程中去。但如不特殊指定，状态空间量测或状态方程中不能包含误差方程中去。但如不特殊指定，状

50、态空间量测或状态方程中不能包含误差项。误差项必须被加到（在方括号中）指定方程的后面。项。误差项必须被加到（在方括号中）指定方程的后面。把一个误差项加到状态空间方程中最简单的方法是指定误差项的方把一个误差项加到状态空间方程中最简单的方法是指定误差项的方差。即加一个误差表达式到已存在的方程中去。差。即加一个误差表达式到已存在的方程中去。signal y=c(1)+sv1+sv2+var=1 state sv1=sv1(-1)+var=exp(c(2)state sv2=c(3)+c(4)*sv2(-1)+var=exp(c(2)*x)指定的方差可以是已知常数值，也可以是包含待估计未知参数的表指定的