1、第1页，共26页。本章结构随机过程基础概念和基本理论介绍平稳过程的特征线性差分方程 时间序列数据的预处理2第2页，共26页。随机过程描述 在对某些随机现象的变化过程进行研究时，需要考虑无穷多个随机变量，必须用一簇随机变量才能刻画这种随机现象的全部统计特征，这样的随机变量族通常称为随机过程。例子：随机游动(或游走)模型，Brown运动等等3第3页，共26页。设X1,X2,是一列独立同分布的随机变量序列，令 Sn=S0+X1+X2+Xn 则称随机变量序列Sn；n=0,1,为随机游动。其中S0是与X1,X2,相互独立(但是不同分布)的随机变量，一般地，我们总是假定S0=0。如果 P(Xn=1)=P(
2、Xn=-1)=1/2 就是一般概率论与数理统计教材中提到的简单随机游动。随机游动4第4页，共26页。设X(t)，tT是一个随机过程均值函数 协方差函数方差函数 XtE X t 2,XXXDtt tE X tt ,XXXs tEX ssX tt随机过程的特征统计量第5页，共26页。平稳过程平稳过程：随机过程处于某种平稳状态，其主要性质与变量之间的时间间隔有关，而与所考察的起始点无关。平稳过程的分类：严平稳 宽平稳 6第6页，共26页。n严平稳是一种条件比较苛刻的平稳性定义，它认为只有当过程所有的统计性质都不会随着时间的推移而发生变化时，该随机过程才能被认为平稳。n定义：有限维分布关于时间是平移不
3、变的 设随机过程X(t)，tT对任意的t1,tnT和任意的h有 (X(t1+h),X(t2+h),X(tn+h)和(X(t1),X(t2),X(tn)具有相同的联合分布，记为(X(t1+h),X(t2+h),X(tn+h)=(X(t1),X(t2),X(tn)则称过程X(t)，tT是严平稳的。d严平稳 (strictly stationary)第7页，共26页。n宽平稳是使用随机过程的特征统计量来定义的一种平稳性。它认为随机过程的统计性质主要由它的低阶矩决定，所以只要保证低阶矩平稳(二阶)，就能保证随机过程的主要性质近似稳定。n定义：满足如下条件的随机过程X(t)，tT称为宽平稳过程，简称平稳
4、过程。【注】若T是离散集，则称平稳过程X(t)为平稳序列Xn。21),2),3)(,)(,),E X ttTE X ttTs tk ktst s kktsT 为常数，且宽平稳 (weakly stationary)第8页，共26页。严平稳与宽平稳的关系n区别：n宽平稳对时间推移的不变性表现在统计平均的一、二阶矩上，对于高于二阶的矩没有任何要求；n严平稳对时间推移的不变性表现在统计平均的概率分布上，以保证序列所有的统计特征都相同；n两者的要求不同，一般说来，严平稳比宽平稳要求要“严”。第9页，共26页。严平稳与宽平稳的关系n联系：n严 宽：因为宽平稳要求期望和协方差都存在，而严平稳要求概率分布存
5、在，并不断言一二阶矩存在。而服从柯西分布的严平稳序列就不是宽平稳序列，因为它的一、二阶矩均不存在；n宽 严：不言而喻；n严平稳+二阶矩存在 宽平稳，但反过来一般不成立；n对于正态过程来说，有严平稳 宽平稳。在实际应用中，研究最多的还是看宽平稳时间序列。第10页，共26页。n宽平稳是使用随机过程的特征统计量来定义的一种平稳性。它认为随机过程的统计性质主要由它的低阶矩决定，所以只要保证低阶矩平稳(二阶)，就能保证随机过程的主要性质近似稳定。n定义：满足如下条件的随机过程X(t)，tT称为宽平稳过程，简称平稳过程。【注】若T是离散集，则称平稳过程X(t)为平稳序列Xt。21),2),3)(,)(,)
6、,E X ttTE X ttTs tk ktst s kktsT 为常数，且宽平稳 (weakly stationary)第11页，共26页。平稳时间序列Xt的统计性质 n常数均值：n(自)协方差函数只依赖于时间的平移长度,而与时间的起止点无关：n延迟k自协方差函数：n常数方差：(,)(,),s tk ktst s kktsT ，且()(,)(,),kt tkt tkk 为整数(,)(0),()(0)tD Xt ttTt 且有tE X第12页，共26页。n 规范性：n 对称性：n 非唯一性：一个平稳序列唯一决定了它的自相关函数，但一个自相关函数未必唯一对应着一个平稳序列。自相关系数n延迟k自相
7、关系数：反映序列Xt在时刻t和t+k时的线性相关性。01,1,kk且-=kk011102120mmmmm()(0)kkn 非负定性：第13页，共26页。平稳过程的遍历性如果均方连续的平稳过程的均值和相关函数都具有各态历经性(随机过程的时间平均等于过程的统计平均)，则称该平稳过程具有各态历经性或遍历性。难点：在实际问题中，要严格验证平稳过程是否满足遍历性的条件是比较困难的。遍历性的理论意义：一个遍历的宽平稳过程，可用任意一个样本函数的时间平均代替平稳过程的统计平均。第14页，共26页。纯随机过程n定义：如果随机过程X(t)是由一个不相关的随机变量序列构成，即对于所有st，随机变量Xs和Xt的协方
8、差均为零，即随机变量Xs和Xt互不相关，则称其为纯随机过程。n纯随机性：n各序列值之间没有任何相关关系，即为“没有记忆”的序列，序列在进行完全无序的随机波动。-不需要建模 00kk，第15页，共26页。白噪声过程定义：期望和方差都为常数的纯随机过程称为白噪声过程。白噪声序列(White noise)：白噪声过程的样本实现。若t 满足 则称t是一个白噪声序列，记为 2(1),(2),0,ttsEtsCovts 方差齐性纯随机性2(,)tWN 第16页，共26页。标准正态白噪声序列时序图 n 均值为零n 方差为常数n 纯随机性第17页，共26页。线性差分方程一阶差分方程 p阶差分方程 放到第三章去
9、讲第18页，共26页。时间序列数据的预处理n动态随机数据：具有动态随机变化特征的数据n时间序列方法的对象：平稳的非纯随机的时间序列n预处理：n平稳性检验n正态性检验n独立性检验n离群点的检验与处理第19页，共26页。时间序列的平稳性是时间序列建模的重要前提。检验的对象：序列是否具有常数均值和常数方差？序列的自相关函数是否仅与时间间隔有关，而与时间的起止点无关？检验的方法：平稳性的参数检验法 平稳性的非参数检验法 时序图检验法 平稳性检验第20页，共26页。n检验的方法：n平稳性的参数检验法 n比较麻烦n平稳性的非参数检验法-游程检验法n可用SPSS软件计算nAnalyzeNonparametr
10、ic TestsRunsn Z 1.96，则该时间序列平稳。n时序图检验法 n 平稳序列的均值和方差为常数，故其时序图应该在一个常数值附近随机波动，且波动的范围有界、无明显趋势及周期特征。平稳性检验第21页，共26页。n1994年1月1日-1995年12月31日香港环境数据序列：(c)表示二氧化氮的日平均水平；(d)表示可吸入的悬浮颗粒物的日平均水平。第22页，共26页。背景：时间序列模型是有时建立在具有正态分布特性的白噪声基础之上。因此，需要检验采集的数据是否具有正态特性。检验方法：2拟合优度检验 比较麻烦 J-B统计量及相伴概率P 相伴概率 P 0.05，接受原假设，认为序列服从正态分布。
11、正态性检验第23页，共26页。独立性检验即为纯随机性检验Bartlett定理：如果一个时间序列是纯随机的，得到一个观察期数为n 的观察序列，那么该序列的延迟非零期的样本自相关系数将近似服从均值为零，方差为序列观察期数倒数的正态分布1(0,),0kNkn 第24页，共26页。独立性检验nBartlett定理：n原假设：延迟期数小于或等于m期的序列值之间相互独立n检验统计量：nQ统计量：Box和Pierce共同推导出 nLB统计量：Box和Ljung共同推导出n结论：n当统计量的相伴概率P 0.05时，接受原假设，认为序列为纯随机序列。1(0,),0kNkn 1,0210mHm：第25页，共26页。离群点的检验与处理离群点是指一个时间序列中，远离序列一般水平的极端大值和极端小值，也称为奇异值或野值。形成离群点的原因是多种多样的：例如由于数据传输过程、采样及记录过程中发生信号失真或丢失等而产生，又如研究现象本身由于受各种偶然非正常的因素影响而形成离群点等等。寻找和剔除离群点的方法：线性外推法第26页，共26页。
