1、 第三章 线性平稳时间序列分析本章结构n线性过程n自回归过程 AR(p)n移动平均过程 MA(q)n自回归移动平均过程 ARMA(p，q)n自相关系数和偏自相关系数在时间序列的统计分析中，平稳序列是一类重要的随机序列。在这方面已经有了比较成熟的理论知识，最常用的是ARMA(Autoregressive Moving Average)模型。用ARMA模型去近似地描述动态数据在实际应用中有许多优点，例如它是线性模型，只要给出少量参数就可完全确定模型形式；另外，便于分析数据的结构和内在性质，也便于在最小方差意义下进行最佳预测和控制。线性过程 n方法性工具 这些工具会使得时间序列模型表达和分析更为简洁
2、和方便。n延迟算子n线性差分方程定义：设B为一步延迟算子，如果当前序列乘以一个延迟算子，就表示把当前序列值的时间向过去拨一个时刻，即 BXt=Xt-1。性质：011101()(),()(1)(1)tttttttnniiinintt nBB c Xc B Xc XcB XYXYBC BB XX 为任意常数线性差分方程 n线性差分方程n齐次线性差分方程)(2211thzazazazptpttt02211ptptttzazazaz齐次线性差分方程的解n特征方程n特征方程的根称为特征根，记作n齐次线性差分方程的通解n不相等实数根场合n有相等实根场合n复根场合02211ppppaaap,21tppttt
3、cccz2211tpptddtddtcctctccz111121)(tpptititttccececrz3321)(11220tttptpza za za z非齐次线性差分方程的解 n非齐次线性差分方程的特解n使得非齐次线性差分方程成立的任意一个解n非齐次线性差分方程的通解 ztn齐次线性差分方程的通解 和非齐次线性差分方程的特解 之和tttzzz)(2211thzazazazptpttt tztz)(2211thzazazazptpttt一阶差分方程 P33n用递归替代法解差分方程：假设已知y-1和的各期值n动态乘子 n动态乘子为输入对输出yt的影响，依赖于j，即输入t和输出yt+j观察值之
4、间的时间间隔。n当参数取不同的值，系统最后的状态也不同。0tjtjttyy或1tttyy11101tttttyy 一阶差分方程 P33n动态乘子(动态乘子为输入对输出yt的影响)n当01，动态乘子按几何方式衰减到零；当-11，动态乘子指数增加；当-1，动态乘子发散性振荡；n当1，动态系统发散；当=1，输入变量将对系统产生持久性影响。0tjtjttyy或1tttyy11101tttttyy 定义：Xt称为线性过程，若 ，其中 t是白噪声序列，系数序列Gj满足 。系统是因果性的：若系数序列Gj满足Gj=0,j0，即 定理3.1：线性过程肯定是平稳过程，且是均方收敛的。tjtjjXG2jjG 011
5、0tjtjttjXGGG在应用时间序列分析去解决实际问题时，所使用的线性过程是因果性的，即：用延迟算子表示：21100tjtjttjjjXGGG 且 0jtjttjXG BG B条件：0jjG 线性过程的逆转形式n用t时刻及其以前时刻的Xt-j(j=0,1,)来表示白噪声t，即：为Xt的逆转形式其中 称为逆函数。n例：Xt=t-0.1t-1 是因果的，可逆的 11tttjtjjGB XXI X 111jjjGBI BI B ARMA模型nAR模型(Auto Regression Model)nMA模型(Moving Average Model)nARMA模型(Auto Regression M
6、oving Average Model)AR(p)模型：p 阶自回归模型 AR(1)模型的背景 n如果时间序列是独立的，没有任何依赖关系，这样的资料所揭示的统计规律就是事物独立的随机变动，系统无记忆能力。如果情况不是这样，资料之间有一定的依存性，那么最简单的关系就是后一时刻的行为主要与其前一时刻的行为有关，而与其前一时刻以前的行为无直接关系，即已知Xt-1，Xt主要与Xt-1相关。用记忆性来说，就是最短的记忆，即一期记忆，也就是一阶动态性。AR(1)模型：一阶自回归模型n描述这种关系的数学模型就是一阶自回归模型，简记为AR(1)，即 11tttXX其中Xt为零均值(即中心化处理后的)平稳序列。
7、1为Xt对Xt-1的依赖程度,t为随机扰动，一般为零均值的白噪声序列。AR(1)的中心化变换n一般情形：此时n中心化：令Yt=Xt-，Yt即为Xt的中心化序列，此时有11tttXcX101tcE X 0tE YAR模型平稳性的判别 n判别原因nAR模型是常用的平稳序列的拟合模型之一，但并非所有的AR模型都是平稳的。n判别方法n特征根判别法AR(1)模型的平稳性条件n平稳条件：对应齐次差分方程的特征根在单位圆内n特征方程：n特征根:11tttXcX101AR(1)模型平稳11平稳域考察下列模型的平稳性：1(1)0.8tttXX1(2)1.1tttXX 序列的期望和方差如何求？AR(2)模型：二阶
8、自回归模型n对于自回归模型来说，当Xt不仅与前期Xt-1有关，而且与Xt-2相关时，AR(1)模型就不再适用了。这时就需要用AR(2)模型。n中心化的AR(2)模型：n非中心化的AR(2)模型：其中t为随机扰动，一般为零均值的白噪声序列。1122ttttXXX1122ttttXcXXAR(2)模型的平稳性条件n平稳条件：对应齐次差分方程的特征根在单位圆内n特征方程：n特征根:2120 2112421122ttttXcXXAR(2)模型平稳1AR(2)模型的平稳性条件n平稳域12221,11，且nAR(2)平稳性判别：n特征根n平稳域考察下列模型的平稳性：12(3)0.5ttttXXX12(4)
9、0.5ttttXXX序列的期望和方差如何求？AR(p)模型：一般自回归模型n中心化的AR(p)模型：n非中心化的AR(p)模型：112220,0,tttptpttstXXXXWNE Xst 说明当前期的随机扰动与过去的序列值无关1122tttptptXcXXXAR(p)的自回归系数多项式n引进延迟算子，中心化的AR(p)模型又可以简记为 n自回归系数多项式n对应齐次差分方程的特征多项式1122tttptptXXXX212()()1ttppB XBBBB 其中212()1ppuuuu 1212()pppp 其根互为倒数AR模型平稳性判别方法n特征根判别nAR(p)模型平稳的充要条件是它的p个特征
10、根都在单位圆内n根据特征根和自回归系数多项式的根成倒数的性质，等价判别条件是该模型的自回归系数多项式的根都在单位圆外MA(q)模型：q阶移动平均模型MA模型：Moving Average ModelnAR模型：是系统在t时刻的响应Xt仅与其以前时刻的响应Xt-j有关，而与其以前时刻进入系统的扰动t-j无关。nMA模型：如果一个系统在t时刻的响应Xt，与其以前时刻的响应Xt-j无关，而与其以前时刻 进入系统的扰动t-j存在着一定的相关关系，这时需要建立的是MA模型。MA(1)模型：一阶移动平均模型 n如果一个系统在t时刻的响应Xt仅与其前一时刻进入系统的扰动t-1存在着一定的相关关系，描述这种关
11、系的数学模型就是一阶移动平均模型，记作MA(1)，即 为常数，是序列均值；t为零均值的白噪声序列；为移动平均系数。11tttX n非中心化的MA(q)模型：n引进延迟算子，MA(q)模型又可以简记为：nq阶移动平均系数多项式：21122,0,ttttqt qtXWN MA(q)模型：q阶移动平均模型()ttXB212()1qqBBBB 11222212varvar1tttqt qqaX MA(q)模型的统计性质n常数均值：模型两边求期望可得n常数方差：【注】MA(q)模型一定为平稳模型。tEX21122,0,ttttqt qtXWN MA(q)模型的可逆性n可逆MA模型定义n若一个MA模型能够
12、表示成无穷阶的自回归模型，则称该MA模型称为可逆的。n例：111220.5ttttttXX（）（）11 221 0.5ttttXBXB（）（）0011/1 221/1 0.50.50.5ttnntttt nnnB XB XBXX（）（）ARMA模型 自回归移动平均模型 Autoregressive-Moving Average ModelARMA模型的背景n一个系统，如果它在t时刻的响应 Xt 不仅与其以前时刻的响应有关，而且还与其以前时刻进入系统的扰动存在着一定的相关关系，那么这个系统就是自回归移动平均系统，相应的模型记作ARMA模型。n在此模型下，一个影响系统的扰动t 被“牢记”一定时期，
13、从而影响系统的后继行为。正是系统的这种动态性，引起了时间序列中的依存关系，从而决定了序列中的依存关系不能用普通静态回归模型来描述，而只能用ARMA模型。ARMA(p,q)模型n非中心化的ARMA(p,q)模型：其中i为自回归系数，i为移动平均系数。n中心化的ARMA(p,q)模型111120,0,ttptpttqt qtstXcXXWNE Xst ARMA(p,q)模型的系数多项式n引进延迟算子，ARMA(p,q)模型又可以简记为：np阶自回归系数多项式：nq阶移动平均系数多项式：()()ttB XcBqqBBBB2211)(212()1ppBBBB 1111ttptpttqt qXcXX A
14、R、MA和ARMA之间的关系n ARMA(p,q)模型：n当p=0时，ARMA(p,q)模型就退化为MA(q)模型；n当q=0时，ARMA(p,q)模型就退化为AR(p)模型；nAR(p)模型和MA(q)模型实际上是ARMA(p,q)模型的特例，它们统称为 ARMA(p,q)模型；nARMA(p,q)模型的性质也正是AR(p)模型和MA(q)模型性质的有机组合。1111ttptpttqt qXcXX ARMA平稳域与可逆域的定义n平稳域 i：(B)=0的根都在单位圆外n可逆域 j：(B)=0的根都在单位圆外n平稳可逆域i,j：(B)=0和(B)=0的根都在单位圆外1111212212()1()
15、1ttptpttqt qppqqXcXXBBBBBBBB 平稳与可逆性的说明nARMA(p,q)模型的平稳条件n(B)=0的根都在单位圆外，完全由其自回归部分的平稳性决定n如果系统具有平稳性，说明系统对某一时刻进入的扰动的记忆逐渐衰减，时间越远，它的影响作用越小，逐渐被完全忘掉。nARMA(p,q)模型的可逆条件n(B)=0的根都在单位圆外，完全由其移动平均部分的可逆性决定n可逆性表示某一时刻的系统响应对后继时刻的响应的影响呈递减状态，离该时刻时间越远，影响作用越小。n对于ARMA(p,q)模型来说，只有平稳且可逆才是有意义的。:()()ttARMAB XcB举例n问下列几个ARMA(1,1)
16、模型是否平稳和可逆？111110.50.820.61.331.50.8ttttttttttttXXXXXX答：(1）平稳可逆，（2）平稳不可逆，（3）可逆不平稳:()()ttARMAB XcBnARMA模型可以变形为：n定义：当Xt表示为即称为ARMA(p,q)模型的传递形式模型的传递形式，或 Xt的World分解分解，称 Gj为Green函数函数或World系数系数。0120()()1,1jtttjtjpBXG BG BBcG其中00jtjtjtjjjXG BGARMA(p,q)模型的传递形式Green函数nGj是j个单位时间以前加入系统的冲击或扰动t 对现在影响的权重nGreen函数表示了
17、系统对冲击t-j有多大的记忆，也即如果有单个t 加入系统，Green函数决定了系统将用多久时间能够恢复到它的平衡位置。00jtjtjtjjjXG BG:()()ttARMAB XB nARMA模型可以变形为：n定义：当Xt表示为即称为ARMA(p,q)模型的逆转形式模型的逆转形式，称 Ij为模型的逆函数逆函数。000()(),1jtttjtjjjjBXI B XI B XBI BI BI 其中1ttjtjjXI XARMA(p,q)模型的逆转形式举例nARMA(1,1)模型：Xt=0.6Xt-1+t-0.3t-1，写出模型的传递形式和逆转形式。解：(1)传递形式 100111 0.30.311
18、 0.61 0.60.30.60.30.60.30.6tttjjttttjjjjttjjBBXBBBB(2)逆转形式 110.60.3ttttXX 011011 0.60.311 0.31 0.30.30.30.30.3tttjttjjttjjjttjjBBXXBBXBBXXXXX ARMA(p,q)模型的统计性质n均值：n方差：借助于传递形式 0tE X112211tttptpttqt qXXXX 0=tjtjjXG222000var=varvarjjtjtjtjjjjXGGGn自协方差：借助于传递形式 n自相关系数：0200jj kjkkjjG GG0=tjtjjXG002000()ktt
19、 kit ijt kjijijt it kjjkjijjE X XEGGEGGG G ARMA(p,q)模型的统计性质三种模型之间的转换n当三种模型：AR、MA和ARMA都具有平稳可逆性时，它们之间可以有如下的转换关系：nAR(p)MA()nMA(q)MA()nARMA(p,q)AR()或MA()ARMA模型的相关性n自相关系数 ACFn偏自相关系数 PACFAR(p)模型的自相关系数ACFn在模型两边同乘Xt-k(k0)，再求期望，可得自协方差系数：n自相关系数的Yule-Walker方程：n设p阶差分方程特征根为 ，则自相关系数满足1122,0kkkpkpk 1122tttptptXXXX
20、1122,0kkkpkpk 12,1pi 1 122ttttppcccAR(p)的自相关系数ACF-拖尾例：考察如下AR模型的自相关图111212(1)0.8(2)0.8(3)0.5(4)0.5ttttttttttttttXXXXXXXXXX -可以验证，这四个模型都是平稳的n自相关系数按负指数单调收敛到零1(1)0.8tttXXn自相关系数呈现出正负相间的衰减1(2)0.8tttXX n自相关系数呈现出“伪周期”性12(3)0.5ttttXXXn自相关系数不规则衰减12(4)0.5ttttXXXa MA(q)模型的自协方差系数n自协方差系数只与滞后阶数k相关，且q阶截尾。1122ttttqt
21、 qX 1111222212211,0 10,ktt kttqt qt kt kqt k qqq kkik iiE X XEkkqkq ，MA(q)模型的自相关系数ACF1122ttttqt qX 2222122112220121,0 10,1,0 1qq kkkik iiq kkik ikikqkkqkqk，10,kqkq，MA(q)模型的自相关系数(ACF)-q步截尾MA模型的自相关系数截尾112tttX（）120.5tttX（）MA模型的自相关系数截尾124163525ttttX（）125254416ttttX（）ARMA模型的相关性n自相关系数ACF拖尾10.50.8ttttXX偏自相
22、关系数(PACF)n背景：n延迟k相关系数：衡量的并不是Xt与Xt-k之间单纯的相关关系，它还受到中间k-1个变量Xt-1,Xt-2,Xt-k+1的影响。n延迟k偏自相关系数就是指在给定中间k-1个随机变量Xt-1,Xt-2,Xt-k+1的条件下，或者说，在剔除了中间k-1个随机变量的干扰之后，Xt-k对Xt影响的相关度量。偏自相关系数的定义n对于零均值平稳序列Xt，考虑用Xt-k,Xt-k+1,Xt-1对Xt的线性最小方差估计，即选择系数，使得下式最小：kj为使得残差方差达到极小的k阶自回归模型的第j项系数。其中最后一个系数kk称为Xt的偏自相关系数。nkk是使在模型中已经包含了Xt-1,X
23、t-2,Xt-k+1之后，再增加一期滞后Xt-k所增加的模型的解释能力，它是一种条件相关，是对Xt与Xt-k之间未被Xt-1,Xt-2,Xt-k+1所解释的相关的度量。21kktkjtjjE XXk阶自回归模型中的第k个系数1122112211112201122,tktktkkt kttt lktt lktt lkkt kt ltt ltt lktt lkkt kt ltt llklklkkl klklklkkl kXXXXX XXXXXXXXE X XE XXE XXEXl 即有 除以，可得 1偏自相关系数的计算1122,1lklklkkl kl 偏自相关系数的计算n滞后k偏自相关系数实际上
24、就等于k阶自回归模型第k个回归系数的值 11021121120211220kkkkkkkkkkkkkkkkkkkkDD 1122,1lklklkkl kl Yule-Walker 方程AR(p)模型的PACFn定理3.5：零均值平稳序列Xt为AR(p)序列的充要条件是Xt的偏自相关系数p步截尾。nAR(p)模型重要的识别依据：自相关系数ACF的拖尾性和偏自相关系数PACF的p步截尾性。0,kkkp例:考察如下AR模型的偏自相关图111212(1)0.8(2)0.8(3)0.5(4)0.5ttttttttttttttXXXXXXXXXX n理论偏自相关系数n样本偏自相关图1(1)0.8tttXX
25、0.8,10,2kkkkn理论偏自相关系数n样本偏自相关图1(2)0.8tttXX 0.8,10,2kkkkn理论偏自相关系数n样本偏自相关图12(3)0.5ttttXXX2,130.5,20,3kkkkk 122112:202kkkARkkn理论偏自相关系数n样本偏自相关系数图12(4)0.5ttttXXX 2,130.5,20,3kkkkk MA(q)和ARMA(p,q)模型的PACFn定理3.6：设Xt为序列或者ARMA(p,q)序列，则Xt的偏自相关系数拖尾。n当三种模型：AR、MA和ARMA都具有平稳可逆性时，它们之间可以有如下的转换关系：nAR(p)MA()nMA(q)MA()nARMA(p,q)AR()或MA()ARMA的ACF和PACF的拖尾性n样本自相关图n样本偏自相关图10.50.8ttttXXARMA模型相关性特征模型自相关系数(ACF)偏自相关系数(PACF)平稳性条件可逆性条件AR(p)拖尾p步截尾特征根在单位圆内无MA(q)q步截尾拖尾无特征根在单位圆内ARMA(p,q)拖尾拖尾特征根在单位圆内特征根在单位圆内
