1、三、三、ARMA模型模型1 1、定义定义 具有如下结构的模型称为具有如下结构的模型称为自回归移动自回归移动平均模型平均模型，简记为，简记为ARMA(p,q)n特别当特别当0 0=0=0 时，称为时，称为中心化中心化ARMA(p,q)模型模型tsEVarExxxstttqpqtqttptptt, 0)(,)(0)(00211110，用过去的自己，并考虑到随机干用过去的自己，并考虑到随机干扰或误差序列来预测自己扰或误差序列来预测自己系数多项式系数多项式n引进延迟算子，引进延迟算子，中心化中心化ARMA(p,q)模型模型可简记为可简记为 其中其中p阶自回归系数多项式：阶自回归系数多项式： q阶移动平
2、均系数多项式：阶移动平均系数多项式：ttBxB)()(qqBBBB2211)(ppBBBB2211)(2、平稳条件与可逆条件、平稳条件与可逆条件nARMA(p,q)模型的模型的平稳条件平稳条件nP阶自回归系数多项式阶自回归系数多项式(B)=0(B)=0的根都在单的根都在单位圆外位圆外,即即ARMA(p,q)模型的平稳性完全由模型的平稳性完全由其自回归部分的平稳性决定其自回归部分的平稳性决定nARMA(p,q)模型的模型的可逆条件可逆条件nq阶移动平均系数多项式阶移动平均系数多项式(B)=0(B)=0的根都在的根都在单位圆外，单位圆外，即即ARMA(p,q)模型的可逆性完模型的可逆性完全由其移动
3、平滑部分的可逆性决定全由其移动平滑部分的可逆性决定3、传递形式与逆转形式、传递形式与逆转形式n传递形式传递形式n逆转形式逆转形式11)()(jjtjtttGBBx 1,110kGGGkjjjkjk 11)()(jjtjtttxIxxBB 1,110kIIIkjjjkjk Green函数：函数：逆函数：逆函数：可转化为无穷阶可转化为无穷阶MA模型模型可转化为无穷阶可转化为无穷阶AR模型模型 qj , 0qj ,j , 0j ,jjjj pp其中其中4、ARMA(p,q)模型的统计性质模型的统计性质n均值均值n自协方差自协方差n自相关系数自相关系数n自相关系数和偏自相关系数都具有拖自相关系数和偏自
4、相关系数都具有拖尾性尾性ptxE101)( )(02ikiiGGk020)0()()(jjjkjjGGGkk【例【例3.7】考察考察ARMA模型的自相关性模型的自相关性nARMA(1,1):ARMA(1,1): 直观地考察该模型自相关系数和偏自相关系直观地考察该模型自相关系数和偏自相关系数的性质。数的性质。 10.50.8ttttxx显然，自相关系数和偏自相关系数拖尾显然，自相关系数和偏自相关系数拖尾n样本自相关图n样本偏自相关图ARMA模型相关性特征：模型相关性特征：模型自相关系数偏自相关系数AR(P)拖尾P阶截尾MA(q)q阶截尾拖尾ARMA(p,q)拖尾拖尾这也是直观选择拟合模型的这也是
5、直观选择拟合模型的常用方法之一常用方法之一3.3 平稳平稳序列的建模序列的建模 n建模步骤建模步骤n模型识别模型识别n参数估计参数估计n模型检验模型检验n模型优化模型优化一、建模步骤一、建模步骤平平稳稳非非白白噪噪声声序序列列计计算算样样本本相相关关系系数数模型模型识别识别参数参数估计估计模型模型检验检验模模型型优优化化序序列列预预测测YesNo二、计算样本相关系数二、计算样本相关系数n样本自相关系数样本自相关系数n样本偏自相关系数样本偏自相关系数nttkntkttkxxxxxx121)()(DDkkk 12-k-1k2-k1-1k1.1.1 D k2-k-1k2111k.1.1 D由克莱姆法
6、则，解由克莱姆法则，解Yule-Walker方程组得到。方程组得到。三、模型识别三、模型识别n基本原则基本原则选择模型选择模型拖尾拖尾P阶截尾阶截尾AR(P)q阶截尾阶截尾拖尾拖尾MA(q)拖尾拖尾拖尾拖尾ARMA(p,q)kkk 一般先通过时序图直观判断序列平稳性，再根据基一般先通过时序图直观判断序列平稳性，再根据基本原则选择模型。本原则选择模型。模型定阶的困惑：模型定阶的困惑：n因样本的随机性，样本的相关系数不会呈现出因样本的随机性，样本的相关系数不会呈现出完全截尾，完全截尾，本应截尾的自相关或偏自相关系数本应截尾的自相关或偏自相关系数仍会呈现出小值振荡仍会呈现出小值振荡；n因平稳时间序列
7、具有短期相关性，随着延迟阶因平稳时间序列具有短期相关性，随着延迟阶数无穷大时，数无穷大时，自相关或偏自相关系数都会衰减自相关或偏自相关系数都会衰减至至0 0值附近作小值波动值附近作小值波动；n没有绝对的标准，没有绝对的标准，主要靠经验主要靠经验。有时也利用一。有时也利用一下由两种系数的近似分布推出的结论。下由两种系数的近似分布推出的结论。何时可作为截尾？何时为拖尾？何时可作为截尾？何时为拖尾？样本相关系数的近似分布样本相关系数的近似分布nBarlett定理nQuenouille定理nnNk,)1, 0(nnNkk,)1, 0(模型定阶的经验方法模型定阶的经验方法n95的置信区间（正态分布的置信
8、区间（正态分布2原则原则）模型定阶的经验方法：模型定阶的经验方法：n若样本若样本(偏偏)自相关系数在自相关系数在最初最初d阶阶明显大于明显大于2倍标准差，后面倍标准差，后面几乎几乎95的值都落在的值都落在2倍倍标准差范围内，标准差范围内，且衰减为小值波动的过程且衰减为小值波动的过程很突然很突然。这时常视为截尾，截尾阶数为这时常视为截尾，截尾阶数为d。22Pr0.9522Pr0.95kkknnnn何时可作为截尾？何时为拖尾？何时可作为截尾？何时为拖尾？例例2.5续续n选择合适的选择合适的ARMA模型拟合模型拟合1950年年1998年北京市城乡居民定期储蓄比例序年北京市城乡居民定期储蓄比例序列。列
9、。序列自相关图序列自相关图显然显然，延迟，延迟3期后，虽自相关系数都落在期后，虽自相关系数都落在2线线内内, ,但却逐渐但却逐渐的衰减为小值波动，拖尾，平稳的衰减为小值波动，拖尾，平稳 。序列偏自相关图序列偏自相关图显然显然，除延迟，除延迟1期的偏自相关系数显著大于期的偏自相关系数显著大于2线外线外, ,其其它突然衰减为小值波动，可认为它突然衰减为小值波动，可认为1 1阶截尾。阶截尾。n所以可考虑拟合模型所以可考虑拟合模型AR(1)【例【例3.8】美国科罗拉多州某一加油站连续美国科罗拉多州某一加油站连续57天的天的OVERSHORT序列序列 由时序图可见，无周期性和单调趋势，序列平稳由时序图可
10、见，无周期性和单调趋势，序列平稳序列自相关图序列自相关图n除延迟除延迟1阶在阶在2倍标准差外，其它都在倍标准差外，其它都在2倍标准差范围内倍标准差范围内波动，平稳，自相关系数波动，平稳，自相关系数1阶截尾。阶截尾。序列偏自相关图序列偏自相关图显然，偏自相关系数拖尾。显然，偏自相关系数拖尾。n所以可考虑拟合模型所以可考虑拟合模型MA(1)【例【例3.9】n1880-19851880-1985全球气表平均温度改变值差分序列全球气表平均温度改变值差分序列 由时序图可见，无周期性和单调趋势，序列平稳由时序图可见，无周期性和单调趋势，序列平稳序列自相关图序列自相关图显然，自相关系数拖尾。显然，自相关系数
11、拖尾。序列偏自相关图序列偏自相关图显然，偏自相关系数拖尾。显然，偏自相关系数拖尾。n所以可考虑拟合模型所以可考虑拟合模型ARMA(1,1)四、参数估计四、参数估计n待估参数待估参数（也称（也称模型口径模型口径）n非中心化的非中心化的ARMA(p,q)可转化为可转化为有有p+q+2个未知参数个未知参数常用估计方法：常用估计方法：n矩估计矩估计n极大似然估计极大似然估计n最小二乘估计最小二乘估计211, ,pq ttBBx )()( 1、矩估计、矩估计n原理原理n用相应阶样本自相关系数估计总体自相用相应阶样本自相关系数估计总体自相关系数关系数n样本一阶均值估计总体均值样本一阶均值估计总体均值n样本
12、方差估计总体方差样本方差估计总体方差111111( ,)( ,)pqp qpqp q 1niixxn2221221211xqp 2n1ii2x)xx(n1 【例【例3.10】求求AR(2)模型系数的矩估计模型系数的矩估计nAR(2)模型模型nYule-Walker方程方程n矩估计（矩估计（Yule-Walker方程的解）方程的解）ttttxxx22112112121112121112121221将偏自相关系数代入将偏自相关系数代入Y-W方程方程【例【例3.11】求求MA(1)模型系数的矩估计模型系数的矩估计nMA(1)模型模型n由由MA(1)协方差函数公式协方差函数公式n矩估计矩估计11ttt
13、x2201111220111(1)1 12112411【例【例3.12】求求ARMA(1,1)模型系数的矩估计模型系数的矩估计nARMA(1,1)模型模型n自相关系数与自协方差的关系方程自相关系数与自协方差的关系方程n矩估计矩估计1111ttttxx1111 112011 1211()(1)12 1122122112121,2,242,24,ccccccc矩估计的特点：矩估计的特点：n优点优点n估计思想简单直观估计思想简单直观n不需要假设总体分布不需要假设总体分布n计算量小（低阶模型场合）计算量小（低阶模型场合）n缺点缺点n信息浪费严重信息浪费严重n只依赖只依赖p+qp+q个样本自相关系数信息
14、，其他信个样本自相关系数信息，其他信息都被忽略息都被忽略n估计精度较差估计精度较差n通常矩估计方法被用作极大似然估计和最小二乘通常矩估计方法被用作极大似然估计和最小二乘估计估计迭代计算的初始值迭代计算的初始值 2、极大似然估计、极大似然估计n原理原理n极大似然准则：极大似然准则：抽取的样本出现概率最大抽取的样本出现概率最大。因此未知参数的极大似然估计就是使得似然因此未知参数的极大似然估计就是使得似然函数（联合密度函数）达到最大的参数值函数（联合密度函数）达到最大的参数值 ,);(max),;,(21121kkxpxxL 似然方程似然方程n由于由于 和和 都不是都不是 的显式表达式。因而似然的显
15、式表达式。因而似然方程组实际上是由方程组实际上是由p+q+1p+q+1个超越方程构成，通常需个超越方程构成，通常需要经过复杂的要经过复杂的迭代算法迭代算法才能求出未知参数的极大才能求出未知参数的极大似然估计值似然估计值 ( )Sln 0)(21ln21);(02)(2);(2422SxlSnxl极大似然估计的特点极大似然估计的特点n优点优点n极大似然估计充分应用了每一个观察值所提供的信息，极大似然估计充分应用了每一个观察值所提供的信息，因而它的因而它的估计精度高估计精度高n同时还具有估计的同时还具有估计的一致性一致性、渐近正态性渐近正态性和和渐近有效性渐近有效性等许多优良的统计性质等许多优良的
16、统计性质n缺点缺点n需要已知总体分布需要已知总体分布实际中，为便于计算，实际中，为便于计算，很多时候看作服从多元正态分布很多时候看作服从多元正态分布3、最小二乘估计、最小二乘估计n原理原理n使残差平方和达到最小的那组参数值即为最使残差平方和达到最小的那组参数值即为最小二乘估计值小二乘估计值 ntqtqtptpttxxxQ121111n1t2t)()( n实际中实际中最常用最常用的参数估计方法是的参数估计方法是条件最小二乘估条件最小二乘估计法计法条件最小二乘估计条件最小二乘估计n假设条件假设条件：过去未观测到的序列值为：过去未观测到的序列值为0，即，即n残差平方和方程残差平方和方程n用用迭代法迭
17、代法，求得使其达最小的参数值。，求得使其达最小的参数值。0,0 txt nitititnitxxQ121112)( tititxxBB11ttx)()( 从而从而最小二乘估计的特点最小二乘估计的特点n最小二乘最小二乘估计充分应用了每一个观察值估计充分应用了每一个观察值所提供的信息，因而它的所提供的信息，因而它的估计精度高；估计精度高；n不需总体分布，便于实现，所以条件最不需总体分布，便于实现，所以条件最小二乘估计方法小二乘估计方法使用率最高。使用率最高。例例2.5续续n确定确定1950年年1998年北京市城乡居民定期年北京市城乡居民定期储蓄比例序列拟合模型的口径储蓄比例序列拟合模型的口径 n拟
18、合模型：拟合模型：AR(1)n估计方法：极大似然估计估计方法：极大似然估计n模型口径模型口径tttxx169. 017.2517.16)(2Var例例3.8续续n确定美国科罗拉多州某一加油站连续确定美国科罗拉多州某一加油站连续57天的天的OVERSHORTS序列拟合模型的口径序列拟合模型的口径 n拟合模型：拟合模型：MA(1)n估计方法：条件最小二乘估计估计方法：条件最小二乘估计n模型口径模型口径ttBx)82303. 01 (40351. 4929.2178)(2Var例例3.9续续n确定确定1880-19851880-1985全球气表平均温度改变值全球气表平均温度改变值差分序列拟合模型的口径差分序列拟合模型的口径 n拟合模型：拟合模型：ARMA(1,1)n估计方法：条件最小二乘估计估计方法：条件最小二乘估计n模型口径模型口径119 . 0407. 0003. 0ttttxx016. 0)(2Var作业作业 P98习题三习题三 12
