应用随机过程课件.pptx

1、应用随机过程应用随机过程Application of Stochastic Processes8.2701.13654.137702.1365成功的道路并不拥挤，成功的道路并不拥挤，的人并不是很多。的人并不是很多。因为坚持到最后 教材教材 应用随机过程应用随机过程 主要教学参考书主要教学参考书 张波张波 张景肖张景肖 编编 中国人民大学 出版社参考书参考书1.1.应用随机过程应用随机过程林元烈林元烈 编著编著 清华大学出版社清华大学出版社 2.随机过程随机过程王风雨王风雨 编著编著 北京师范大学出版社北京师范大学出版社前言 第第1 1章章 预备知识预备知识1.1 概率空间 在自然界和人类的活动

2、中经常遇到各种各样的现象，大体上分为在自然界和人类的活动中经常遇到各种各样的现象，大体上分为两类：两类：必然现象和随机现象必然现象和随机现象。具有随机性的现象具有随机性的现象随机现象随机现象对随机现象的观察或为观察而进行的实验对随机现象的观察或为观察而进行的实验随机试验随机试验随机试验的结果随机试验的结果基本事件或样本点。记记作作 记记作作所有可能的结果称为所有可能的结果称为样本空间样本空间。由基本事件组成的子集AA称为事件称为事件。（有（有3个特征）个特征）事件的性质事件的性质 假设假设A,B,C是任意事件，则他们满足：是任意事件，则他们满足：(1)交换律交换律(2)结合律结合律(3)分配律

3、分配律(4)对偶原则对偶原则 (De Morgan律律)A AB BB BA A C CB BA AC CB BA A)()(C CB BA AC CB BA A)()()()()(C CA AB BA AC CB BA A)()()(C CA AB BA AC CB BA A B BA AB BA A B BA AB BA A i ii ii ii iA AA A1 11 1 i ii ii ii iA AA A1 11 1 ；，则则如如果果）（F FA AF FA A 2 2.,2 2,1 13 31 1F FA Ai iF FA Ai ii ii i 则则，如如果果）（；）（F F 1

4、1.-代代数数中中的的为为那那么么，称称 F F.),(中的元素称为事件为可测空间，FF定义定义1.1 中的某些子集是为样本空间，设F：组成的集合族，若满足性质性质 假假代代数数，则则中中的的任任一一事事件件是是设设-F F;)1 1(F F ;,2 2,1 1,)2 2(1 11 1n ni ii in ni ii ii iF FA AF FA An ni iF FA A 则则若若果果;,2 2,1 1,)3 3(1 1 i ii ii iF FA Ai iF FA A则则若若果果;,)4 4(F FA AB BF FB BA AF FB BA A 则则若若果果.-5代数必为代数）（例例1.

5、1例例1.2例例1.3.-代代数数类类是是事事件件的的一一切切事事件件构构成成的的事事件件由由 ，由,F.-代代数数称称作作平平凡凡事事件件 ,A AA AF FA A对对任任意意事事件件代数。是事件-.)-(代数常常它为称为最广泛的代数。是事件则-F ;6 6,5 5,4 4,3 3 ,3 3,2 2,1 1,)1 1(F F事事件件类类 ;6 6,5 5 ,4 4,3 3 ,2 2,1 1,)2 2(F F事事件件类类 ;6 6,4 4,2 2 5 5,3 3,1 1,)3 3(F F事事件件类类随机试验随机试验:掷一枚骰子，观察出现的点数，掷一枚骰子，观察出现的点数，思考题：思考题：，下

6、下列列事事件件是是否否构构成成样样本本空空间间 6 6,5 5,4 4,3 3,2 2,1 1 代数？-定义定义1.2).(A记作代数，的最小的上任意包含事件对于-A.)(,2,1,-,1iiiFAiFAAA之交，即代数的事件上包含代数，并且等于最小事件的必定存在含中的任意事件类对于注：代数，生成的称为事件-A结论：结论：中的一个集系，是设A的最小的则包含A.)(-一定存在代数A定义定义1.3).),().(,-.)(,-,-),(-),(,RaaBRBBorelRBorelRBBorelRRaaaRnn显然记作代数上的类似可以定义合集，其中的元素称为记作代数上的称为代数）的最小（即包含代数生

7、成的由所有半无限区间设定义定义1.4-上上的的事事件件是是定定义义在在样样本本空空间间设设 F F足足上上的的非非负负集集函函数数，且且满满是是定定义义在在代代数数，F FF FA AA AP P),(;1 1)(0 01 1 A AP PF FA A，有有）对对任任意意（;1 1)(P P)2 2(j ji iA AA Ai iF FA Aj ji ii i ,2 2,1 13 3，）对对任任意意（1 11 1)(i ii ii ii iA AP PA AP P）（的概率。称为事件间，称作概率空）上的概率，是则称AAPPFFP)(),(,(例例1.1：,1,0,1,01,0BFBorel概率

8、空间：设上的),(,-1,01,0FBorelB称代数上的是局限在即1,0,.1,0)1,0,1,0(BbaABorelB可测空间上的为概率空间，上的为，称定义BorelPFabAP1,0),(,)(.1,0概率测度上的为称BorelP概率的基本性质概率的基本性质,0)()1(P)(1)()3(APAP,)2(FBA若)()()()(ABPBPAPBAP则)()()(APBPABP,)4(FBABA 若)()(BPAPBA 若单调性单调性则)(1nnAP1)(nnAP次可列可加性次可列可加性1,)5(nFAn若1,)6(iijiAAAji设有则对任意事件,A1)()(iiAAPAP公式的推广，

9、）性质（Jordan)2(7有对任意nAAA,21)(1niiAP1)(iiAPnjijiAAP1)(nkjinnkjiAAAPAAAP1211)()1()(,iA假设事件序列,)1(21nAAA如果,)2(21nAAA如果事件列极限事件列极限1：nnAlim则nnA1AAnAAnnnAlim则nnA1结论：.)(序列必有极限集合单调事件概率的连续性：)8(的事件序列或递减是单调递增若)(1,nAn定理：则)(limnnAP)lim(nnAP具体情况：AAAAAAFAnnnnnn11,)1(且即且若AAAAAAFAnnnnnn11,)2(且即且若)(AP)(limnnAP)lim(nnAP)(

10、1nnAP)(AP)(limnnAP)lim(nnAP)(1nnAP事件列极限事件列极限2：，）对于任意事件序列（,2,1,3nAn,2,1,knkAn,knnA,2,1k.因而分别有极限定义定义1.51kknnAdefnnAinflimnAlim 的下极限的下极限nAknnA1kdefnnAsuplimnAlim 的上极限的上极限nA例例1.2：nnAxsuplim)1(.中无穷多个集合属于意味着nAxnnAxinflim)2(中的有限多个集合外，意味着除去,2,1nAn.属于该序列的其余集合x关系：关系：nnAinflimnnAsuplim含义：含义：:axx_1:naxx1)(nA1)(

11、nB例例1.3：.序列面”和“反面”组成的所以投掷硬币结果“正，的所有子集F.结果是“正面”第 nAn则nnAinflimnnAsuplim是“正面”有无限多次投掷的结果掷的结果都是除有限多次外，其余投.“正面”1.2 随机变量和分布函数随机变量和分布函数随机变量：用实数来表示随机实验的各种结果.定义定义1.6上，是定义在是概率空间，设XPF),(，且对上的函数取值于实数集RxXR)(,)(:FxX上的随机变量。是则称FX)(关于随机变量的几点说明：义它的概率。一个事件，因而可以定中的是的集合，定义要求点的样本是指所有满足),()(:,)()(:)1(PFaXaXFaX便，简记为自变量，为了书

12、写方定义中)2()(:aX,(aXaX，记为以下把XX)(等表示。大写字母一般随机变量符号常用ZYX,则易证：满足,)(:)()3(FaXX.,FbXabXabXaaXaXaXRba定理定理1.1：下列命题等价：是随机变量；X)1(；RaFaX,)(:)2(；RaFaX,)(:)3(.,)(:)4(RaFaX定义定义1.7上的随机变量，函数是设FX)()(xF),)(:(xXPx的分布函数。称为随机变量X分布函数的含义：分布函数的含义：取值表示随机变量分布函数XxF)().(为任意实数x的概率不超过x分布函数分布函数 的性质：的性质：)(xF；）（1)(01xF是非降函数，)()2(xF21x

13、x即);()(21xFxF,0)(lim)3(xFx;1)(limxFx,)()4(是又连续的xF).()(lim)0(xFtFxFxt即随机变量的类型：随机变量的类型：离散型：离散型：kkpxXP)()(xF)(xXP xxkkp11kkp连续型：连续型：)(xF)(xXPxdttf)(）为概率密度函数，（其中1)()(dxxfxf)(xfdxxdF)(多维随机变量：多维随机变量：),(21dXXXX d维随机向量维随机向量多维随机变量联合分布函数：多维随机变量联合分布函数：),(21dxxxF),(2211ddxXxXxXPRxk性质：性质：是联合分布函数，则若),(21dxxxF；1),

14、(0)1(21dxxxF；对每个变量都是单调的),()2(21dxxxF的；对每个变量都是右连续),()3(21dxxxF),(lim)4(1dixxxxFi,0),(lim1dixxxxFi,1),2,1(di),()5(21dxxxF121),(12dtdttttfddxxxd),(1dxxfdddxxxxxxF2121),(一些常见的分布：一些常见的分布：1.离散均匀分布：离散均匀分布：分布列：分布列：,1npk),2,1(nk2.二项分布：二项分布：分布列：分布列：10 pn和对固定的)0(,)1(kppCpknkknk.为参数的二项分布和称之为以pn3.几何分布：几何分布：分布列：分

15、布列：),1(,1kpqpkk1 qp4.Poisson分布：分布：分布列：分布列：0),1,0(,!kekpkk_参数为参数为 的的 Poisson分布分布5.均匀分布：均匀分布：密度函数）（其它babxaabxf,0,1)(,baUX记作6.正态分布：正态分布：密度函数Rxxxf,2)(exp21)(22分布，的正态分布，也称为和称之为参数为Gauss2),(2NX记作.)1,0(称为标准正态分布NX7.分布：分布：密度函数）（00,00,)()(1xxexxfx函数定义为分布，为参数的，称之为以）（0)(01dxexx函数的性质：函数的性质：);()1()1(;1)1()2(;)21()

16、3(!)1()4(nn8.指数分布：指数分布：00，分布中，令在0,00,)(xxexfx9.分布：分布：22121为正整数，分布中，令在nn0,)2(2)(22112xexnxfxnn.2分布的称为自由度为n10.d维正态分布：（略）维正态分布：（略）作业题：).(169)(,21)()()(,.1APCBAPCPBPAPABCCBA求，且满足设两两独立的随机事件.,0,0,0,)(.222BxxBeAxFXx求的概率分布函数设随机变量1.3 数字特征、矩母函数与特征函数数字特征、矩母函数与特征函数征值就够了。特要知道随机变量的某些实际问题中，有时只需在来说是相当不容易的。而确定其分布函数一

17、般率分布（函数）描述，随机变量完全由它的概一、数字特征一、数字特征定义定义1.8：学期望的离散型随机变量的数取值为）（1kxEXkkkpxkkkxXPx)(kkkpx)|(期望连续型随机变量的数学）（2EXdxxxfxxdF)()()(|(xdFx X的一阶矩的一阶矩阶中心矩的）（kX3kkkEXxdFxm)()()(二阶中心矩即方差2)(XDRxdFEXx)()(2可测函数为设）（BorelRRgdd:4),(21dXXXgE),(),(2121dRRdxxxdFxxxg.),(21期望的联合分布多元函数的为dXXX可测函数为设）（BorelRRgdd:5)(2121dkdkkXXXE),(

18、)212121dRRkdkkxxxdFxxxd.),(),(211阶矩的称为ddkkkXX二、二、Rieman-Stieltjes 积分积分协方差）（6),(YXCov)(YXYXEEXEYXYE)(),(EYEXYX积分。经不再是简单的前面数字特征的定义已Rieman复习：积分Riemanniiixf10)(limdxxfba)(Rieman-Stieltjes 积分：积分：上的实值函数，为有限区间设,)(),(baxFxgbxxxxxanii110),()()(1iiixFxFxF,1iiixxmaxix时，若当0存在，niiixFg10)()(lim的且与分法及i取值无关，上在关于称该极

19、限值为,)()(baxFxgSR 的积分，记为)()(xdFxgbaniiixFg10)()(lim注：注：但反之不成立。时，意味着当,0)1(n积分。积分化为了时，当）（RiemanSRxxF)(2)()()3(xdFxga)()(limxdFxgbab）积分（广义.SR 积分的一个充分条件：SR)4(单调，连续，若)()(xFxg.积分存在则称SR 为分布连续，特别地，当)()(xFxg.积分必存在函数时，SR R-S 积分性质：积分性质：)()()()1(2211xdFxgkxgkba)()()()(2211xdFxgkxdFxgkbaba)()(2xdFxgba）（niccxdFxgi

20、i0)()(1)(110bcccan 可加性可加性baxdF)(3）（)()(aFbF注：注：积分的最大的不同：积分与RiemanSR 积分：Riemanaadxxf-)(0:积分SR aadxxdF-)(aaxdF)(lim0)()(aFaF.)(点处的跳跃度即等于a是一个阶梯函数时，当)(xF处有跳跃度在设ixxxF)(),2,1(ipi则)()(-xdFxg1)(iiipxg)(包含了离散型.敛转化为判别级数是否收达式：离散、连续型的统一表kEX)(-xdFxkkEXXE)()()(-xdFEXxk四、矩母函数与特征函数四、矩母函数与特征函数1.矩母函数矩母函数（moment gener

21、ating function)定义定义1.9：的矩母函数定义为随机变量X)(tX)(tXeE显然)(tX)(tXXeE)()(tnX)(tXneXE)(nXE)0()(nX的分布函数）为 XxFX)(.矩母函数由此得名.布函数是一一对应的可以证明矩母函数与分变的分够用矩母函数刻画随机当矩母函数存在时，能.布函数.,常用特征函数来描述当矩母函数不存在时)(xdFeXtx的矩母函数，则是设XtX)()0()1(X)0()2()(nX互互独独立立，且且也也相相与与，则则是是相相互互独独立立的的随随机机变变量量若若t tY Yt tX Xe ee eY YX X,)3 3()(tYX 矩母函数的性质：

22、矩母函数的性质：RXxdF)(;1);(nXE)()(ttYX2.特征函数特征函数（characteristic function)复随机变量复随机变量 定义定义1.10：称为二维实随机变量，则设YX,iYXZiEYEXEZ复随机变量的数学期望复随机变量的数学期望)(tX的特征函数定义为随机变量X)(itXeE)(xdFeXitx的分布函数）为 XxFX)(txitxeitxsincos)(tX)(itXeE)(sin)(costxiEtxE.的复值函数特征函数是一个实变量特征函数的性质：特征函数的性质：,1)0()1(,1|)(|t有界性有界性)()()2(tt共轭对称性共轭对称性.),()

23、()3(上是一致连续的在t,)4(baXYRba，若的特征函数为则 Y)()(atetXibtY时存在，则当若随机变量nkEXXn,)5()()0()(kkkXEi或)0(-)()(kkkiXE）（的特征函数设相互独立的随机变量nXXX,)6(21则分别为),(,),(),(21tttn的特征函数是nkkX1.)(1nkkt.)7(互唯一确定特征函数与分布函数相,特别地存在时，有当)()(xfxFdxxfetitx)()()(xdFeitxdttexfitx)(21)()1()2(.)()2(的傅里叶变换式恰好是可积函数t.函数的泊松分布，求其特征服从参数为设X.,征函数上的均匀分布，求其特服

24、从设baXDXEXXpnBX,),(的特征函数以及求设例例3.1：例例3.2：例例3.3：例例3.4：.),(2的特征函数求正态分布N例例3.5：上服从均匀分布，在随机变量2,2X,cos XY.的概率密度利用特征函数求Y作业题：作业题：.)1(求指数分布的特征函数.)2(求几何分布的特征函数1.4 条件概率条件概率 条件期望条件期望 独立性独立性一、条件概率一、条件概率1.定义：定义：为任意两个事件，为样本空间，设BA,0)(BP若则称)/(BAP)()(BPABP出现的情况下，为事件B的条件概率，事件 A.的条件概率关于事件简称事件BA1.基本公式基本公式定理定理1:(乘法公式乘法公式)(

25、ABP)/()(BAPBP0)(21nAAAP若)2(,21nnAAAn个事件为任意设)(21nAAAP)(1AP)/(12AAP)/(213AAAP)/(121nnAAAAP定理定理2:(全概率公式全概率公式)的一个分割，是设nB,jiBB（,1）niiB,0)(iBP设,1FAni则)(APniiiBAPBP1)/()(定理定理3:(Bayes公式公式)有，若对任意事件,0)(APA)/(ABPiniiiiiBAPBPBAPBP1)/()()/()(二、独立性二、独立性1.定义：定义：满足若两个事件BA,)(ABP)()(BPAP.相互独立，则称事件BA个事件，为设nAAAn,21和如果对

26、任意)2(nss有,121niiis)(21siiiAAAP)()()(21siiiAPAPAP.,21相互独立则称事件nAAA注注1：两两独立并不包含独立性。两两独立并不包含独立性。例：例：.均匀的硬币设随机实验是抛掷两枚，第一次投掷结果是正面1A，第二次投掷结果是正面2A.3两次投掷结果都是正面A问：是否两两独立？）（321,1AAA三个事件是否独立？）（321,2AAA注注2我们有我们有 9 9 6 65 5,4 4 5 52 2,1 1 两两次次仍仍得得点点数数之之和和为为或或第第二二次次仍仍得得或或第第一一次次仍仍得得 C CB BA A2.独立性的性质：独立性的性质：定理定理4：相

27、互独立，若事件BA；与；与则BABA分别相互独立。与 BA推论推论1：相互独立，若事件nAAA,21则)(1niiAPniiAP1)(11是相互独立的充分必要随机变量nXXX,21函数可分解为：条件是它们的联合分布),(21nxxxF)()()(2121nXXXxFxFxFn证明：推论推论2：),(21nxxxF),(2211nnxXxXxXP)()()(2211nnxXPxXPxXP)()()(2121nXXXxFxFxFn定理定理5：是相互独立的随机变量nXXX,)1(211LXi且即)(|xdFx则nkkXE1)(nkkXE1)(是相互独立的设221,)2(LXXXn则)(1nkkXVa

28、rnkkXVar1)(定理定理6：引理CantelliBorel是一列事件，设1,nAnFnAn,2,1,即,)(11nnAP如果）（则)suplim(nnAP0,2是独立事件列如果）（nA使得，1)(nnAP则)suplim(nnAP1四、条件期望四、条件期望1.边缘分布边缘分布，的分布函数为设),(),(YXFYX的则YX,，分布函数为)(),(yFxFYX的边缘和依次称为关于YX分布函数，且有)(xFX),(YxXPdxdyyxfx),(),(xF同理)(yFY),(yF)()(),(yFxFyxFYX若称称X,Y独立独立.离散型：的联合分布律若),(YXijjipyYxXP),(则)(

29、iixXPP),2,1(i)(jjyYPP1jijp1iijp),2,1(j.),(的边缘分布律和关于分别称为及YXYXPPji:相互独立的充要条件是和 YXijPjiPP连续型：),(),(yxfYX的概率密度函数为若随机变量则)(xfXdyyxf),()(yfYdxyxf),(的边缘分和关于分别称为及YXYXyfxfYX),()()(.概率密度:相互独立的充要条件是和 YX),(yxf)()(yfxfYX2.条件分布函数条件分布函数离散型：0)(jyYP若则称)|(jiyYxXP)()(jjiyYPyYxXP，jijPP.的分布律下，随机变量为条件XyYj同理)|(ijxXyYP)()(i

30、jixXPyYxXP，iijPP.的分布律下，随机变量称为条件XxXj连续型：,)(),(yfyxfY)|(yxf)|(xyf)(),(xfyxfX.的条件分布律下随机变量称为在条件XyY 3.条件数学期望条件数学期望.念之一程中最基本最重要的概条件数学期望是随机过离散型：的数学期望XEXiiixXpx)(）iyYXE|(iiiiyYxXpx)|(.,_的条件数学期望时称为给定XyYj异同：异同：时，）是局限在而jjiByYyYXE)(:|(.)()(的加权平均取值局部jBX具体地：,)(:jjyYB记,)(:iixXA于是，,1jBBY的不同取值分为按照整个样本空间等互不相容的事件),(jj

31、B.iiA同理时，当jiBA,0),(iiyYxXp0)|(iiyYxXp）iyYXE|()|(iiiiyYxXpxjiBAiiiiyYxXpx:)|(因此时，）是局限在jiByYXE|(.)(的局部加权平均X,|(,|(1jjyYyYXEyYXE依赖于）显然.)(:jjyYB依赖于即从全局样本空间这样,可以变化的观点看，及对有必要引进一个新的,随机变量).|(YXE记作时，当jB.|(）它取值为jyYXE为随机变量称随机变量)|(YXE.的条件数学期望YX 关于随机变量记)(:0)(:1)(jjjjByYByYBIj显然1)(jBI.)(发生jyY亦记)(jBI).()(jyYI定义：定义：

32、记）YXE|()|()()(ijyYyYXEIj.|(的条件数学期望关于随机变量）为称YXYXE）的直观意义：YXE|(,|(1(的函数）是随机变量）YYXE)(:jyY当,时,|(|(）取值为jyYXEYXE它是局部事实上,.,|(的统一表达式）平均NjyYXEj时，）当）)(|(|(2(kjyYXEyYXEkj|(|(）jyYXEYXEP;(）jyYP令否则,|(|(:）kjjyYXEyYXEkD则|(|(）jyYXEYXEPjDkjyYP）(,|(3的函数）是随机变量）由于（YYXE故它的数学期望为：)|(）YXEEjjjyYPyYXE）(|(定理：定理：|()(1），有和对一切随机变量

33、）（YXEEXEYXXXXE）（|(2例例2：五、独立随机变量和的分布五、独立随机变量和的分布卷积公式卷积公式相互独立，设21,XX，分别是它们的分布函数)(),(21xFxF，其分布函数为令)(,21xFXXXX则由独立性有)(xFX)(21xXXP)(|1121tdFtXxXXP)()(12tdFtxXP)()(12tdFtxF)(21xFF 称为称为 的卷积的卷积)(),(21xFxF),()(xFxg和一个单调函数一般地，对有界函数的卷积定义为：与)()(xgxF)(xgF)()(tdFtxg注：注：.)1(可能没有意义与顺序有关，FggF都是分布函数时，与当)()()2(xgxF.卷

34、积可以交换顺序都是分布函数时，有当)(),(),()3(xHxGxF)()(xHGF)(xHGF结合律结合律)(xHGF)()(xHFxGF分配律分配律）的随机变量，是独立同分布当xFnkXk(,2,1,)4(,00S令,2,1,1nXSnkkn则有）xF(0,0010 xx)(xFn,2,1)(1nxFFn），.)()(重卷积的称为nxFxFn)(xFn)(21xXXXPn)(|121tdFtXxXXXPn)()(2tdFtxXXPn)()(1tdFtxFn)(1xFFn).()(),0()(,0,00,)()(12yfYXYxxxexfXYxX的的概概率率密密度度函函数数上上有有均均匀匀分

35、分布布，求求在在而而随随机机变变量量有有密密度度函函数数假假设设随随机机变变量量：思思考考题题 .)2(;),()1(:,0,1,0,1,21)|(,31)|(41)(,222的的分分布布律律的的分分布布律律二二维维随随机机变变量量求求不不发发生生发发生生，不不发发生生发发生生，为为两两个个随随机机事事件件，且且设设：思思考考题题YXZYXBBYAAXBAPABPAPBA ).1|1()3();|(),|()2();(),()1(,00,),(),(3|YXPyxfxyfyfxfxyeyxfYXYXXYYXx求求条条件件概概率率求求条条件件概概率率密密度度求求边边缘缘概概率率密密度度其其他他具

36、具有有概概率率密密度度：设设二二维维随随机机变变量量思思考考题题.2)3()2(;,)1(016/116/1034/104/116/1216/1004/113210),(1的的条条件件数数学学期期望望时时求求是是否否相相互互独独立立；与与判判断断的的边边缘缘分分布布律律求求的的联联合合分分布布律律为为设设二二维维随随机机变变量量：作作业业YXYXYXXYYX EYEXyyYXExxXYEyxYX,321)|(,5)|(,2求求，和和满满足足：对对任任给给的的：设设随随机机变变量量作作业业 第第2 2章章 随机过程的基本随机过程的基本 概念和基本类型概念和基本类型2.1 基本概念在概率论中，我们

37、研究了随机变量，n维随机向量。在极限定理中，我们研究了无穷多个随机变量，但局限在它们相互独立的情形。将上述情形加以推广，即研究一族无穷多个、相互有关的随机变量，这就是随机过程。定义2.1：设),(P是一概率空间，对每一个参数Tt，),(tX是一定义在概率空间),(P 上的随机变量，则称随机变量族);,(TttXXT 为该概率空间上的一随机过程。T称为参数集。随机过程的两种描述方法：用映射表示,TXRTtX :),(),(X T即是一定义在上的二元单值函数，,Tt ),(tX固定是一定义在样本空间 上的函数，即为一随机变量；对于固定的,0 ),(0 tX是一个关于参数Tt 的函数，或称随机过程的

38、一次实现。记号通常称为样本函数，),(tX有时记为)(tX或简记为).(tX参数T一般表示时间或空间。参数常用的一般有：(1)(2),2,1,0 T,baT (3),2,1,00 NT时时间间此此时时称称之之为为随随机机序序列列或或0)(.nnX，随随机机序序列列写写为为序序列列.,1,0,nXn或或.,0 可可以以取取或或可可以以取取其其中中ba当参数取可列集时，一般称随机过程为随机序列。随机过程);(TttX 可能取值的全体所构成的集合称为此随机过程的状态空间，记作S.S中的元素称为状态。状态空间可以由复数、实数或更一般的抽象空间构成。同同的的类类：的的不不同同过过程程可可以以分分成成不不

39、和和根根据据ST参参数数空空间间分分类类：0|2,1,0ttTT如如连连续续参参数数如如离离散散参参数数状状态态空空间间分分类类：取取值值是是连连续续的的连连续续状状态态取取值值是是离离散散的的离离散散状状态态SS随机过程分为以下四类：(1)离散参数离散型随机过程；(2)连续参数离散型随机过程；(3)连续参数连续型随机过程；(4)离散参数连续型随机过程。以随机过程的统计特征或概率特征的分类，一般有：独立增量过程；Markov过程；二阶矩过程；平稳过程；更新过程；Poission过程；维纳过程。鞅；随机过程举例例2.1.)()(,1机机游游动动就就是是直直线线上上的的随随时时刻刻在在路路上上的的

40、位位置置，则则他他在在记记以以相相同同）后后退退一一步步（假假设设其其步步长长以以概概率率前前进进一一步步，概概率率一一醉醉汉汉在在路路上上行行走走，以以随随机机游游动动：tXttXpp 例2.2 抛掷一枚硬币，样本空间为,THS 定义：时时当当出出现现，时时当当出出现现T2H,cos)(tttX),(t,2/1 TPHP其其中中是是一一则则),(,)(ttX随机过程。随机过程。例2.3 运运动动。则则它它是是平平面面上上的的位位置置，为为粒粒子子在在平平面面坐坐标标上上的的碰碰撞撞的的结结果果。记记动动。同同时时分分子子大大量量随随机机运运来来称称为为则则的的运运动动，这这种种运运动动后后子

41、子不不断断进进行行无无规规漂漂浮浮在在液液面面上上的的微微小小粒粒注注意意到到英英国国植植物物学学家家运运动动：BrowntYtXBrownBrownBrown)(),(2.2 有限维分布与Kolmogvrov定理一、随机过程的分布函数 1.一维分布函数是是一一随随机机过过程程，称称设设)(tX)(),()(xtXPxtFxFt .)(的的一一维维分分布布函函数数称称为为tX ,0),(xtf若若 xtdyytfxtFxF-),(),()(使使得得.)(),(的的一一维维概概率率密密度度为为则则称称tXxtf 2.二维分布函数),()(),(2121TtttXtX 设设二二维维随随机机向向量量

42、)(,)(),(),(2211212121,21xtXxtXPxxttFxxFtt .),(2121为为二二维维概概率率密密度度则则称称xxttf的的分分布布函函数数。称称为为二二维维随随机机向向量量)(),(21tXtX,0),(2121 xxttf若若),(),(212121,21xxttFxxFtt 21-212112),(dydyyyttfxx 3.n维分布函数.),;,(11维维概概率率密密度度为为则则称称nxxttfnn的的联联合合分分布布函函数数为为维维随随机机向向量量)(,),(),(21ntXtXtXn),;,(),(111,1nnnttxxttFxxFn)(,)(11nnx

43、tXxtXP ,0),;,(11 nnxxttf若若),;,(),(111,1nnnttxxttFxxFn nxxnndydyyyttfn1-111),;,(.)(,),(),(21维维分分布布函函数数的的维维随随机机向向量量称称为为ntXtXtXnn 4.有限维分布族),(1,1nttxxFn)(,)(11nnxtXxtXP :维维分分布布函函数数的的全全体体，一一维维、二二维维，n 称为有限维分布族1,),(11,1 nTttxxFnnttn，5.有限维分布族的性质(1)对称性),;,(),(1111,nnnnjjjjjjjjttxxttFxxF)(,)(11nnjjjjxtXxtXP )

44、,;,(11nnxxttF (2)相容性有有对对于于nm ),(1,11 mttttxxFnjmjmjj),(1,1mttxxFmjj 注1：随机过程的统计特性完全由它的有限维分 布族决定。注2：有限维分布族与有限维特征函数族相互唯 一确定。问题：一个随机过程是否描述了该过程的全部概率特性？);(TttX 的有限维分布族，定理：（Kolmogorov存在性定理）设分布函数族1,),(11,1 nTttxxFnnttn，满足以上提到的对称性和相容性，则必有一随机过程，);(TttX 1,),(11,1 nTttxxFnnttn，使使恰好是);(TttX 的有限维分布族，即：),(1,1nttxx

45、Fn)(,)(11nnxtXxtXP 定理说明：);(TttX);(TttX 的有限维分布族包含了的所有概率信息。例2.4 对对应应随随机机变变量量一一个个确确定定的的任任取取一一球球后后放放回回，对对每每袋袋中中红红球球，每每隔隔单单位位时时间间从从袋袋中中有有一一个个白白球球，两两个个t 时时取取得得白白球球如如果果对对时时取取得得红红球球如如果果对对tetttXt3)(.维维分分布布函函数数族族试试求求这这个个随随机机过过程程的的一一例2.5 是是相相同同的的。设设出出现现正正面面反反面面的的概概率率出出现现反反面面，出出现现正正面面义义一一个个随随机机过过程程利利用用抛抛掷掷硬硬币币的

46、的试试验验定定RttttX 2,cos)(.).1;()21;()()2()()1(11xFxFtXtX和和的的以以为为分分布布函函数数写写出出）；的的所所有有样样本本函函数数（实实现现写写出出特特征征。来来刻刻画画随随机机过过程程的的概概率率征征了了用用随随机机过过程程的的某某些些特特能能的的。因因此此，人人们们想想到到可可全全部部有有限限维维分分布布族族是是不不中中，要要知知道道随随机机过过程程的的题题完完整整描描述述，但但在在实实际际问问是是随随机机过过程程概概率率特特征征的的有有限限维维分分布布族族定定理理说说明明，随随机机过过程程的的Kolmogorov二、随机过程的数字特征1.均值

47、函数随机过程);(TttX（假设是存在的）的均值函数定义为：)()()(tXEtmtX 的的摆摆动动中中心心。）在在时时刻刻平平均均，它它表表示示随随机机过过程程的的函函数数值值的的的的所所有有样样本本函函数数在在时时刻刻是是注注：ttXttXtm()()(2.方差函数随机过程);(TttX 的方差函数定义为：)()()()()(22tmtXEttXEtXDX 的的偏偏离离程程度度。对对于于均均值值在在各各个个时时刻刻表表示示）均均方方差差函函数数：注注)()()(1tmttXtDt 3.(自)协方差函数是是二二阶阶矩矩过过程程。称称若若：注注)(,)(,22tXtXETt 的的二二阶阶中中心

48、心混混合合矩矩，的的状状态态，)()(,)(2121tXtXTtttX)()()()(),(221121tmtXtmtXEttX 协协方方差差函函数数。的的自自协协方方差差函函数数，简简称称)(tX时时，当当21tt),()()(tttXVartXDX 2)()(tmtXE 2)()(tXEtXE 22)()(tXEtXE 4.(自)相关函数的的二二阶阶原原点点混混合合矩矩，的的状状态态，)()(,)(2121tXtXTtttX)()(),(2121tXtXEttRX 关关函函数数。的的自自相相关关函函数数，简简称称相相)(tX时时，当当：注注0)()(1 tmtXE),(),(2121ttt

49、tRXX )()(-),(),(2212121tmtmttRttXX ：注注时时的的线线性性相相关关程程度度。和和时时刻刻在在反反映映了了随随机机过过程程及及：注注212121)(),(),(3tttXttRttXX 们们的的线线性性关关系系。或或互互相相关关函函数数来来描描述述它它，要要引引进进互互协协方方差差函函数数对对两两个个随随机机过过程程的的关关系系：注注 45.(互)协方差函数则则称称是是两两个个二二阶阶矩矩过过程程，设设)()(TttYTttX )()()()(),(221121tmtYtmtXEttYXXY 的的互互协协方方差差函函数数。，)()(tYtX)()(),()(tY

50、EtmtXEtmYX 其其中中：6.互相关函数)()(),(2121tYtXEttRXY 的的互互相相关关函函数数。，)()(tYtX)()(-),(),(212121tmtmttRttYXXYXY 注注：7.互不相关0),(21 ttXY 若若互互不不相相关关。，称称)()(tYtX互互不不相相关关，则则注注：若若)(),(tYtX)()(),(2121tmtmttRYXXY)()()()(2121tYEtXEtYtXE 即即8.特征函数)()(exp),;,(112121nnnnXtXutXuiEtttuuu 1,),;,(212121 nTttttttuuunnnX 称称为随机过程);(