间序列分析第一章间序列课件.ppt

1、间序列分析第一章间序列二.时间序列的分解,2,1,tRSTXtttt 趋势项 ，季节项 ，随机项注：1.单周期季节项：只需要 且可设 2.随机项：可设 3.tTtStR()(),S tsS tt1,2,SSSS10sjjS0,tERttsttttttXT SRXTS R例：某城市居民季度用煤消耗量分解方法:1.趋势项估计 （1）分段趋势(年平均)（2）线性回归拟合直线（3）二次曲线回归（4）滑动平均估计tT2.估计趋势项后,所得数据由季节项和随机项组成,季节项估计可由该数据的每个季节平均而得.3.随机项估计即为tS方法一：分段趋势法方法一：分段趋势法1 趋势项（年平均）ttTX 减去趋势项后,

2、所得数据ttTX 2 2、季节项、季节项tS3.3.随机项的估计随机项的估计 .24,2,1,tSTxRtttt方法二：回归直线法方法二：回归直线法一、趋势项估计 一元线性回归模型 最小二乘估计为 可得到 .24,2,1,9.211.5780ttTt2421111,),(.24,2,1,21YxxxXtbtaxTttYXYYbaTT1)(),(协方差矩阵的计算公式定义的平稳序列时零均值正态序列，自协方差函数(3.其中决定可和的 称为一个保时线性滤波器。（1）分段趋势(年平均)特征是分布平移不变 性：对任何固定的k，时间序列 和在线性空间上定义内积，则有（1）如果有-,上的单调不减右连续的函数F

3、()使得3 Poisson过程和Poisson白噪声用 表示集合a,b上以为自变量的示性函数：证明(1)由三角不等式单周期季节项：只需要绝对收敛的，从而是a.平稳序列中随机变量 的均值为 ，方差为 都是和t无关的常数。1 趋势项（年平均）证明(1)由三角不等式所以 是内积空间，在任何内积空间中都有Schwarz不等式1.直线趋势项消去趋势项后消去趋势项后,所得数据所得数据ttTX 2 2、季节项估、季节项估 为为24,2,1,tSt3.3.随机项估计为随机项估计为.24,2,1,tSTxRtttt方法三：方法三：二次曲线法二次曲线法YXYYcbaTT1)(),(26.10.175.5948tt

4、xt24,2,1,2tctbtaxtt1.1.二次项估计（趋势项）二次项估计（趋势项）数据和二次趋势项估计数据和二次趋势项估计2.2.季节项、随机项季节项、随机项 设平稳序列 有自协方差函数随机向量 ，则X的协方差矩阵（1）如果 有谱函数 ，则 有谱函数；（3）有界性：对所有的k成立。定义 对于平稳序列 和 ，如果输入信号 是平稳列则输出 也是平稳列。则 是Hilbert空间，称为由平稳序列 生成的Hilbert空间。是不相关的。下面的例子是Poisson白噪声的60个样本。若 有谱函数f(),则变上限的积分平稳序列中随机变量 的均值为 ，方差为 都是和t无关的常数。（1）分段趋势(年平均)把

5、相应的平稳序列称为离散谱序列。2 设 和 分别是平稳序列 和 的自协方差函数，单周期季节项：只需要在线性空间上定义内积，则有现对t,s Z，定义如果对任意正整数n和k，随机变量平稳序列 到 宽平稳序列 到 弱平稳序列。（2）N(t)有独立增量性：对任何n1和例二、美国罢工数（例二、美国罢工数（51-8051-80年年)（滑动平均法（滑动平均法）051015202530300035004000450050005500600065001.1.趋势项（趋势项（5 5项平均）项平均）2.2.季节项和随机项季节项和随机项051015202530-1000-800-600-400-200020040060

6、0800例三、化学溶液浓度变化数据例三、化学溶液浓度变化数据0204060801001201401601802001616.51717.51818.5020406080100120140160180200-1-0.500.511.5一阶差分1,2197tttyxxt 三 时间序列和随机过程 设 是实数 的子集，如果对每个t属于T，都有一个随机变量 与之对应，就称随机变量的集合 是一个随机过程。当T是全体整数或全体非负整数时，称相应的随机过程为随机序列。把随机序列的指标集合T看成时间指标时，这个随机过程就是时间序列。当T是全体实数或全体非负实数时，相应的随机过程称为连续时随机过程。如果把T认为时

7、间指标，连续是的随机过程就是连续的时间序列。(,)R tX,ttXX t1.2 1.2 平稳序列平稳序列一 平稳序列 定义 如果时间序列 满足 （1）对任何的 （2）对任何的 （3）对任何的 就称是 平稳时间序列，简称时间序列。称实数 为 的自协方差函数。平稳序列中随机变量 的均值为 ，方差为 都是和t无关的常数。协方差结构的平移不变性是平稳序列的特性，所以平稳序列是二阶矩平稳序列。:ttXXtN2,ttN EX,ttN EX,()()tst st sN E XXtXtX ttXtEX2var()()ttXE X自协方差函数满足以下三条性质：（1）对称性：对所有的K成立。（2）非负定性：对任何

8、的 ，n阶自协方差矩阵 是非负定的矩阵。（3）有界性：对所有的k成立。满足上述性质的实数列都称为非负定序列。kknN011122,1120()nnnnk j k jnn 0k下面证明这些性质，对称性由定义直接得到。为证明非负性，任取一个 维实向量 Tnaaa),(21n0)()(211111 niiininjjijininjjijinTXaEXXaaEaa22()E XYEX EY为证明有界性，我们先介绍一个常用的不等式.引理 (Schwarz不等式）对任何方差有限的随机变量X和Y,有证明 不妨设 ,关于a的一元 于是，判别式 取 时，有界性有Schwarz不等式得到：20EX222()2()

9、()0E XaE XYEYE aXY22224()40E XEX EYtYtX221 1110()kKkE YYEYEY线性相关性定义：自协方差矩阵退化的充分必要条件是存在非零的n维实向量 使得 这时我们称随机变量是线性相关的。Tnaaa),(211var()0niiia X自相关系数 定义：设平稳序列 是标准化的序列 ，的自协方 差函数 称为平稳序列的自相关系数。tX tY tY0/,kkkZ二.白噪声最简单的平稳序列是白噪声，它在时间序列分析中有特殊的重要地位。定义（白噪声）设 是一个平稳序列，如果对任意的称 是一个白噪声，记做 当 是独立序列时，称 是独立白噪声；当 时，称为零均值白噪声

10、；当 称为标准白噪声。t,s tN2,cov()0,ttstsEts t2(,)WN t t020,1例2.3 Poisson过程和Poisson白噪声如果连续时的随机过程满足（1），且对任何的ts0和非负整数k，（2）N(t)有独立增量性：对任何n1和 随机变量 相互独立，则称N(t)是一个强度为的Poisson过程。数学期望和方差分别为 (0)0N()()()exp(),!ktsP N tN sktsk其中 是正数010nttt1()(),1,2,3,jjN tN tjn(),var()E N ttN tt其中 .这样 又称为距离空间，不难看出在任意的内积空间上都可以定义距离，是它自然成为

11、距离空间。知道 为 线性组合，从而是完备的。（2）有Schwarz不等式得到称实数 为 的自协方差函数。是正交的；6 Hilbert 空间中的平稳序列3 Poisson过程和Poisson白噪声ave 表示的样本均值，std表示样本的标准差。协方差结构的平移不变性是平稳序列的特性，所以平稳序列是二阶矩平稳序列。有谱密度（2）由上面的推导 得到。设平稳序列 有自协方差函数3 设 和 是相互正交的零均值的平稳序列，C是常随机向量的数学期望和方差如果 也是内积空间和距离空间，是 的子空间。3.记 定义Poisson白噪声定义：满足上面三个条件称为Poisson白噪声。ave 表示的样本均值，std表

12、示样本的标准差。下面的例子是Poisson白噪声的60个样本。(1),1,2,nN nN nn（10(2)var(3)nnnE（）是一个独立的白噪声Poisson白噪声的60样本的产生1.随机产生服从(0,1)上均匀的200个样本:2.给出服从参数为1的指数分布的200个独立样本;3.给出参数为1的Poisson过程一条样本轨道在i=1,61上的取值；参数为1的Poisson白噪声的60个样本I0102030405060-1-0.500.511.522.533.54样本II0102030405060-1-0.500.511.52标准正态白噪声的60个样本:A=randn(1,60)；plot(

13、A)三.正交平稳序列 设X和Y是方差有限的随机变量，如果E(XY)=0，就称X和Y是正交的，如果c o v(X,Y）=0，就称X和Y是不相关的。定义 对于平稳序列 和 ，（1）如果对任何的 s,t Z,，则称 和 是正交的；（2）如果对任何的 s,t Z，则称 和 是不相关的。定理2.2 设 和 分别是平稳序列 和 的自协方差函数，记 定义 tXt Y()0tsE XY tXt Ycov()0tsX YtXt Y()Xk()YktXt YxtytEXEY和t,ttZXY tZ（1）如果 和 正交，则 是平稳序列，有自协方差函数 （2）如果 和 不相关，则 是平稳序列，有自协方差函数 证明：（1

14、）当 和 正交，利用cov(X,Y)=E(XY)-E(X)E(Y)得到 （2）由上面的推导 得到。tXtXt Yt YtZtZ()()()2,0,1,2,ZXYXYkkkk()()(),0,1,2,ZXYkkk ktXt Ycov(,)ov(,)cov(,)cov(,)cov(,)cov(,)()()()()2tstssttstststsXYtstsXYXYZ ZcXY XYXXY YX YY XtstsEX EYEYEXtsts cov(,)cov(,)0tstsX YY X1.3 线性平稳序列和线性滤波一.有限运动平均 定义：设 是WN(O,)，对于非负整数q和常数a0,a1,aq,我们称

15、 是白噪声 的（有限）运动平均，简称为MA，运动平均又称 滑动平均。MA的平稳性 :tttZ20110,qtjtjttqt qjXaaaatZ t200,00,tq kjj kjt kttEXa akqEXXkqX平稳)2,0(,*85.0*36.0221WNXttttt0102030405060708090100-8-6-4-202468例：概率极限定理：定理 （单调收敛定理）如果非负随机变量序列单调不减：则当 时，有对于任何时间序列 ，利用单调收敛定理得到 定理 （控制收敛定理）如果随机变量序列 满足 和 时，则当 时，并且 120,naslimnnEElim ntttnttntEYEYE

16、 Yt Y,nas n0.nas0E E nEE二.线性平稳序列定义：如果实数列 满足 则称 是绝对可和的。对于绝对可和的实数列 ，定义零均值白噪声 的无穷滑动和如下 ，则 是平稳序列。下面说明 是平稳序列。由 Schwarz不等式得到于是Xt右边的无穷级数是a.s.绝对收敛的，从而是a.s.收敛的。由于 所以用控制收敛定理得到 现对t,s Z，定义 jajja ja tja,tjtjjXatZtXtXjtjjtjjjjjEaa Ea njtjjtjjnjaalim 0njtjnjnEXEatXtX当输入过程是时，输出过程是称实数 为 的自协方差函数。减去趋势项后,所得数据三 时间序列和随机过

17、程（1）分段趋势(年平均)用 表示集合a,b上以为自变量的示性函数：平稳时间序列的二阶性质也可以从其频率分解来研究，称为频域分析。严平稳序列到强平稳序列。（1）如果 和 正交，则 是平稳序列，有自协方差函数设 是实数 的子集，如果对每个t属于T，都有一个随机变量 与之对应，就称随机变量的集合 是一个随机过程。实值平稳序列的谱密度是偶函数。是Hilbert空间称为有X生成的Hilbert空间。协方差矩阵的计算公式用 表示集合a,b上以为自变量的示性函数：间和内积空间下面我们来证明的完备性。正态平稳列既是宽平稳也是严平稳。给出参数为1的Poisson过程一条样本轨道在i=1,61上的取值；,nnn

18、jtjnks knnjnknnnjktjs kjkaaVa a ts,则X X a.s.,并且利用公式可以知道 所以由控制收敛定理得到这就说明了 是平稳序列 22jktjs kjjkjEVa a Ea 2()()lim()lim()nntsnnjktjs knnjn jnjjt sjE X XEa a Ea a tX证明：当 时.02|2/|2/12222/|2/12222/|2/12222/|2/|222kjkjjjkjjjjkjkjjjkjkjkjjkjjjkjjkaaaaaaaaaaaak定理：设 是WN(0，),实数列 平方可和，线性平稳序列 由上述 定义，则自协方差函数 t2jatX

19、三.时间序列的线性滤波 对序列 进行滑动求和：称为对 进行线性滤波。其中决定可和的 称为一个保时线性滤波器。如果输入信号 是平稳列则输出 也是平稳列。期望协方差函数tXtX,tjtjjYh XtZ jhtXt Y1111,()cov(,)()()Ynjknjkj kjkn kjj knYYh h E XXh h =YtjtjXjjjEYh EXh例3.1 余弦波信号的滤波cos(),(,2),ttttttXSbtUtZUUU零均值平稳，与独立。信号St方差 ，噪声方差 ，信噪比2/2b222/(2)b0102030405060708090100-2-1012345678注：)2/sin()2/

20、sin()2/sin(21)2/sin()cos()cos()cos()(cos(MjjjUtjbUjtbMjMjMjMjMjMjMjMj121sin(0.5)cos()(21)sin(/2)MttjjMtYXMbMtUM 0102030405060708090100-4-3-2-1012341.4 正态时间序列和随机变量的收敛性随机向量的数学期望和方差 矩阵随机向量 期望 随机向量 ，则X的协方差矩阵 协方差矩阵的计算公式 随机向量线性变换 ,()i jm nXX,()()i ji jEXEX12(,)TnXXXX,cov(,)()()()TXi jX XE XXcov(,)()()()()

21、()TTTXX XE XXE XXE X E X,()TXYaBXEYaBEX Var YBB则如果存在m维常数列向量，mn常数矩阵B和iid的标准正态随机变量 使得Y=+BX,则称随机变量 服从m维正态分布。这时EY=,=Var(Y)=Y的特征函数为 这是多维正态分布的等价定义。记YN(,)12,nXXX12(,)nYY YYTBB1()exp2TTYtittt多维正态分布的充要条件定理 4.1 的充要条件是对任何 12=(,)(,)TnN 12a=(a,),(,)TnTTTnaaRYaN aaa有二.正条平稳序列 定义：对于时间序列 ，如果对任何n 1和 有 服从多元正态分布，则称 为正态

22、时间序列 特别当 还是平稳序列时，又称为正态平稳序列。tXtXtX12,nt ttZ12(),(),()nX tX tX t正态序列收敛定理定理4.3 如果正态序列 ,依分布收敛到随机变量 则定理4.4 如果 服从WN(0，)，实数列绝对可和，则有 定义的平稳序列时零均值正态序列，自协方差函数(3.5)给出。证明：下证为正态序列，先证对任何 ,有其中 ,nnN(,var(),var()var()nnN EEE）并且 t2,jtjjXatZNm)9.4(),0(),(21mTmNXXXXjijjimmkjmaa2,)(对任何 ,定义则有当 时,有 Tmbbbb),(21n0|)(|kkXnE0|

23、)(|)(|)(|11mkkkkmkkkknnXbEnXbEYE11()mTkkkmnkkkYbXb Xbn由定理4.2,得到 依分布收敛到 ，则 从而由 和定理4.1得到(4.9).用同样方法可以证明:对任何 有其中 .定理4.4成立.Yn).,(VarYEYNYbbVarYEYmT,0Nl)10.4(),0(),(21mTlmllNXXXXjijjimmkjmaa2,)(1.5 严平稳序列及其遍历性 定义：设 是时间序列。如果对任意正整数n和k，随机变量同分布，就称 是严平稳序列。特征是分布平移不变 性：对任何固定的k，时间序列 和 同分布。严平稳和宽平稳的关系：1.二阶矩有限的严平稳为宽

24、平稳。2.宽平稳一般不是严平稳。3.正态平稳列既是宽平稳也是严平稳。4.平稳序列 到 宽平稳序列 到 弱平稳序列。5.严平稳序列到强平稳序列。:tXtN:tXtN121(,)TnkXXXT2+kn+k和(Y,Y,Y):tXtN:t kXtN遍历性：1.时间序列一般只是一条轨道。2.要用时间序列 的一次实现推断 的统计性质。遍历性可以保证从一条轨道可以推断整体的统计性质。如果严平稳序列是遍历的，从他的一次实现就可以推断出这个严平稳的所有有限维分布:有遍历的严平稳序列被称为严平稳遍历序列。tXtX121122(,)(,),nnnF x xxP Xx XxXxmN严平稳序列定理定理5.1 如果 是严

25、平稳遍历序列，则有如下的结果：（1）强大数律：如果 则 （2）对任何多元函数 是严平稳遍历序列.下面的定理在判断线性平稳序列的遍历性时时十分有用的。定理5.2 如果 是独立同分布的WN(0,)实数列 平方可和,则线性平稳序列 是严平稳序列的。tX1E X 111lim,.ntntXEX a sn1212(,),(,)mtttt mx xxYXXX,jtjjXatZja t21.6 Hilbert 空间中的平稳序列Hilbert空间 设 是平稳序列，令所以 是一个线性空间。tX21()()|,1,kjjjjjL Xa X taR tZjk kN22222,(),1(),()()(2)0(),0,

26、()0()(3)()(),(),()()X Y ZL Xa bRXYYXL XXYZXYZL XXX XXL Xa XYaXbYL Xab XaXbY a bXab X 有（）2()L X在线性空间上定义内积，则有所以 是内积空间，在任何内积空间中都有Schwarz不等式令距离 则有,()X YE XY,=,X YY XaXbY Za X Zb Y Z ,0,00X XX XX 并且当且仅当，a.s.2()L X12,X YX XY Y 12(,)XYXY XY 0=0,.XYYXXYXY a s并且当且仅当三角不等式：这样 又称为距离空间，不难看出在任意的内积空间上都可以定义距离，是它自然成

27、为距离空间。如果 也是内积空间和距离空间，是 的子空间。定义6.1 对 ：(1)如果 ,则称 在 中收敛到 （2)如果当 时，则称 是 中的基本列或Cauchy列。XYXZZY2()L X2:LXEX 2()L X2L220,nLL0lim0nn2Ln0 n0nm,m n 2L完备的内积空间：每个基本列都是极限在空间内的内积空间。又称Hilbert空间。是Hilbert空间。用 表示 中包含 的最小闭子空间则 是Hilbert空间，称为由平稳序列 生成的Hilbert空间。二.内积的连续性 定理（内积的连续性）在内积空间中，如果证明(1)由三角不等式得到。2L2L2()L X2()LX2()L

28、XtX0,0nn，则有(1)(2),nnn nnnn和（2）有Schwarz不等式得到例：n维Hilbert空间 是线性空间，定义内积 ，则为内积空间。是完备的内积空间。为欧氏模 ,nnnnnnnnnnn nRnR,Ta ba b Taaa例2 设 是零均值的平稳列，则它的线性组合全 体构成的内积空间 是Hilbert空间称为有X生成的Hilbert空间。实际上，是线性空 间和内积空间下面我们来证明的完备性。证明：先设 是标准的白噪声WN(0，1),对任何的线性组合 只要 由例1知道有 使得 当 取 时 于是 是完备的tX12(,)TnXXXX1,:TnnnLsp XXa X aRnLtXTn

29、na X2TTnmnma Xa X2Tnmnm=(a-a)(a-a)02nTnn=(a-a)(a-a)0naR0naaTa Xn nL 对一般的零均值的平稳序列，可以设协方差阵 的秩是m,mn有非退化矩阵B使得Y=BX有协方差矩阵于是 且 为WN(0，1)的一段，由知道 为 线性组合，从而是完备的。三.复值时间序列 复随机变量：如果X和Y 是随机变量，称Z=X+iY是复随机变量。如果EX和EY都存在，称Z=X+iY 的数学期存在,并且EZ=EX+iEY 二阶矩有限的复随机变量：如果 就称为Z的二阶矩有限 随机变量。()TE XX(1,1,1,0,0)TYB Bdiag 12(,),0,0)mY

30、Y YY12,mY YY1XB Y12(,)mY YYnL222E ZEXEY 按时间次序排列的复值随机变量的序列 称为复时间序列。如果复时间序列 满足就称 是一个复值平稳序列，称 是 的自协方差函数。当 ，称 是一个复值零均值白噪声。nZnZnZnZnZ,()(),nn mnmEZE ZZn mZ k2,nmn mE Z Zn mZ 1.7 平稳序列的谱函数1.时域和频域 遍历的时间序列可以从延的时间分布进行统计分析，称为时域分析。平稳时间序列的二阶性质也可以从其频率分解来研究，称为频域分析。2.谱函数和谱密度 设平稳序列 有自协方差函数（1）如果有-,上的单调不减右连续的函数F()使得 则

31、称F()是 或 的谱分布函数，简称为谱函数。（2）如果有-,上的非负函数f()使得 则称f()是 或 的谱密度函数或功率谱密度，简称为谱密度或 功率谱。tXtXk(),()0,ikkedFFkZtXk(),ikkfedkZ谱函数和谱密度的关系 若 有谱函数f(),则变上限的积分就是 的谱函数。当谱函数F()绝对连续，它的几乎处处导函数就是谱函数，特别，当F()是连续函数，除去有限点外导函数存在且连续，则是谱密度。tXtX()()Ff s ds(),()()0,()FFfF当存在当不存在谱函数存在唯一性定理定理7.1（Herglotz定理）平稳序列的谱函数是唯一存在的。线性平稳序列的谱密度定理7

32、.2 如果 是WN(0，)实数列 平方可和，则线性平稳序列 有谱密度,tjtjjXatZ22()2ijjjfa eja t2两正交序列的谱定理7.3 设 和 是相互正交的零均值的平稳序列，C是常 数，定义 (1)如果 和 分别有谱函数 则平稳序 列 有谱函数 （2）如果 和 分别有谱密度 ，则 有谱 密度tXtXtXt Yt Yt Y,tttZXYc tZ()()XYFF和()()XYff和()=()+()ZXYfff()=F()+F()ZXYFtZtZ例0102030405060708090100-8-6-4-202468)2,0(,*85.0*36.0221WNXttttt谱密度图00.5

33、11.522.533.500.511.522.533.5线性滤波与谱 设平稳序列有谱函数和自协方差函数，H=hj 是一个绝对可和的保时线性滤波器。当输入过程是时，输出过程是 的协方差函数 实数级数绝对收敛。,.tjtjjYh XtZa s,()()Yijl jkhhklj t Y定理7.4 设 是平稳序列，H=h是绝对可和的保时线性滤波器，和H(z)分别由上面定义。（1）如果 有谱函数 ，则 有谱函数；（2）如果 有谱函数 ，则 有谱密度。实值平稳序列的谱密度是偶函数。tXtXtXt Yt Y()XF()Xf1.8 1.8 离散谱序列及其周期性离散谱序列及其周期性一简单的离散谱序列 用 表示集

34、合a,b上以为自变量的示性函数：当 时，定义阶梯函数则有F(-)=0，并且对任何的整数k,所以F()是Zt的谱函数。,()a bI,1,()0,a ba bI其他0002,()()()2FII 002-()2ikikikkedFee 当平稳序列的谱函数是阶梯函数是，习惯上就把它称为离散谱函数。把相应的平稳序列称为离散谱序列。离散谱函数没有对应的谱密度，但可以逼近。相应的按公式（7.3）定义当 2,()0,nnnnABf当其他-()()nnFfd,()()nnFF 二.多个频率成分的离散谱序列 设随机变量 两两正交，满足对于正整数p和 ，定义时间序列 是平稳序列，具有零均值和自协方差函数,(1,2,)iiip 2220,jjjjjEEEE(0,j11cos()sin()cos()ptjjjjipjjjiZttAttZ21cos()pkjjjk谢谢观看！