随机过程总复习课件.ppt

1、第一章复习内容第一章复习内容一、期望和方差一、期望和方差 1期望期望 设设离散型离散型随机变量随机变量X的分布律为的分布律为 kkpxXP )(,2,1 k则则)(XEkkkpx 1 设设连续型连续型随机变量随机变量X的概率密度为的概率密度为 ，)(xf则则)(XEdxxxf)(函数期望函数期望 当当 X为为离散型离散型随机变量随机变量则则 当当X为为连续型连续型随机变量，随机变量，则则)(XgY )()(XgEYEkkkpxg)(1 )()(XgEYEdxxfxg)()(2.方差方差 计算方差时通常用下列关系式：计算方差时通常用下列关系式：称随机变量称随机变量 的期望的期望为为X的方差，即的

2、方差，即 2)(XEX)()var(XDX )(2XEXE )()var(XDX 22)(XEXE 3性质性质（1）（2）（3 3）若若X X和和Y Y相互独立，则相互独立，则CCE)(0)(CD)()(XCECXE)()(2XDCCXD niiniiXEXE11)()()()()(YEXEXYE 计算协方差时通常用下列关系式：计算协方差时通常用下列关系式：二、协方差二、协方差),(CovYX)()(YEYXEXE ),(CovYX)()()(YEXEXYE 三、矩母函数三、矩母函数 1定义定义 为为X的矩母函数的矩母函数2原点矩原点矩的求法的求法 称称 的数学期望的数学期望 tXe)(tXe

3、Et 利用矩母函数可求得利用矩母函数可求得X的各阶矩，即对的各阶矩，即对 逐次求导并计算在逐次求导并计算在 点的值：点的值：)(t 0 t)(tXXeEt )()tXnneXEt （)0()nnXE（3和的矩母函数和的矩母函数 定理定理1 设相互独立的随机变量设相互独立的随机变量 的的矩母函数分别为矩母函数分别为 ，rXXX，21)(1t)(2t)(tr 则其和则其和 的矩母函数为的矩母函数为 rXXXY 21)(tY)(1t)(2t)(tr 两个相互独立的随机变量之两个相互独立的随机变量之和和的矩母函数等于它的矩母函数等于它们的矩母函数之们的矩母函数之积积.四、特征函数四、特征函数 特征函数

4、特征函数 设设X为随机变量，称复随机变量为随机变量，称复随机变量 的数学期望的数学期望itXe)(tX itXeE为为X的特征函数，其中的特征函数，其中t是实数。是实数。还可写成还可写成)(tX sincostXiEtXE 特征函数与分布函数相互唯一确定。特征函数与分布函数相互唯一确定。性质性质则和则和 设相互独立的随机变量设相互独立的随机变量 的的 特征函数分别为特征函数分别为 ，rXXX，21)(1t)(2t)(tr rXXXY 21的特征函数为的特征函数为 )(tY)(1t)(2t)(tr 两个相互独立的随机变量之两个相互独立的随机变量之和和的特征函数等于它的特征函数等于它们的特征函数之

5、们的特征函数之积积.练习练习:设随机变量设随机变量X的概率密度函数为的概率密度函数为 其它其它02021)(xxxp试求试求X的矩母函数。的矩母函数。解：解：2021)(xdxeeEttxtX 022120 dxexettxtx222222)12()1(1221teteetettttt 练习练习 解解 由于由于 所以所以 设随机变量设随机变量X服从参数为服从参数为 的泊松分布，的泊松分布，求求X的特征函数。的特征函数。0,1,2.kP Xkekk（）！)(tX ekekkitk！0！keekitk)(0 iteee )1(itee 条件分布函数与条件期望条件分布函数与条件期望 离散型离散型 若

6、若 ，则称，则称 0)jyYP（jijjjijippyYPyYxXPyYxXP ),)|（为在条件为在条件 下，随机变量下，随机变量Y的条件分布律。的条件分布律。ixX 为在条件为在条件 下，随机变量下，随机变量X的条件分布律的条件分布律。jyY iijijiijppxXPyYxXPxXyYP),)|（同样同样1、条件分布函数的定义、条件分布函数的定义 连续型连续型 同样同样)(),()|(yfyxfyxfY 称为在条件称为在条件 下，随机变量下，随机变量X的条件分布律的条件分布律。yY )(),()|(xfyxfxyfX 称为在条件称为在条件 下，随机变量下，随机变量Y的条件分布律。的条件分

7、布律。xX 注意：分母不等于注意：分母不等于02、条件期望的定义、条件期望的定义 离散型离散型 其中其中连续型连续型)|(jyYXE)|(1jiiiyYxXPx )(),()|(jjijiyYPyYxXPyYxXP )|(yYXE dxyxfx)|(其中其中)|(yxf条件概率密度条件概率密度 3、全数学期望公式、全数学期望公式 定理定理 对一切随机变量对一切随机变量X和和Y，有有 连续型连续型)|(YXE是随机变量是随机变量Y的函数，当的函数，当 时取值时取值因而它也是随机变量。因而它也是随机变量。yY )|(yYXE 离散型离散型)|(YXEE)(XE)()|()(1jjjyYPyYXEX

8、E dyyfyYXEXEY)()|()(设二维随机向量（设二维随机向量（X，Y）的联合概率密度为）的联合概率密度为 其它其它010),(xyeyxfx.,)4;)3);()2);(),()1的独立性的独立性讨论讨论求求YXXYExyfyfxfXYYX解：解：xxXdyedyyxfxf0),()(10,xxex 1),()(yxYdxedxyxfyf10,1 yeey练习练习:其它其它0101)(),()()2xyxxfyxfxyfXXYXY)1,0(2 XXXYE.2,x均均值值为为中中点点条条件件分分布布是是均均匀匀分分布布dyxyfyxXYExXY)(,10)3 时时当当210 xdyxy

9、x .,)()(),()4不独立不独立所以所以YXyfxfyxfYXXY 练习练习:对于随机变量对于随机变量X和和Y，满足条件，满足条件则有则有,10)(,2)(YEXE)(YXEE2.,)(,)1(:saXXEX 则则随机变量随机变量是是若若结论结论 .,)2(saXEXEX 则则相互独立相互独立与与若若练习练习:若随机变量若随机变量X和和Y相互独立相互独立，满足条件，满足条件,10)(,2)(YEXE则有则有 YXE2 一矿工困在矿井中，要到达安全地带，有三个一矿工困在矿井中，要到达安全地带，有三个通道可选择，他从第一个通道出去要走通道可选择，他从第一个通道出去要走1个小时可个小时可到达安

10、全地带，从第二个通道出去要走到达安全地带，从第二个通道出去要走2个小时又个小时又返回原处，从第三个通道出去要走返回原处，从第三个通道出去要走3个小时也返回个小时也返回原处。设任一时刻都等可能地选中其中一个通道，原处。设任一时刻都等可能地选中其中一个通道，试问他到达安全地点平均要花多长时间。试问他到达安全地点平均要花多长时间。练习练习 解解 设设X表示矿工到达安全地点所需时间，表示矿工到达安全地点所需时间，Y 表示表示他选定的通道，则他选定的通道，则)(XE)|(YXEE)1()1|(YPYXE)2()2|(YPYXE)3()3|(YPYXE)3()2(131EXEX 6)(XE所以所以 第二章

11、复习内容第二章复习内容随机过程的分类随机过程的分类T离散、离散、I离散离散T离散、离散、I连续连续参数参数T状态状态I分类分类T连续连续、I离散离散T连续连续、I连续连续 Poisson过程是参数过程是参数 状态状态 的随机过程的随机过程.Brown运动是参数运动是参数 状态状态 的随机过程的随机过程.离散离散连续连续连续连续连续连续练习练习 袋中放有一个白球，两个红球，每隔袋中放有一个白球，两个红球，每隔单位时间从袋中任取一球，取后放回，对单位时间从袋中任取一球，取后放回，对每一个确定的每一个确定的t对应随机变量对应随机变量试求这个随机过程的一维分布函数族。试求这个随机过程的一维分布函数族。

12、分析分析先求先求 的概率分布的概率分布)(tX所以所以解解3tte)(tX3231P ttexexttx11113,323,0，随机过程的数字特征随机过程的数字特征 2方差函数方差函数)()()(2ttXEtXDX )()(tXEtX 1均值函数均值函数 3协方差函数协方差函数)()(22ttXEX 注注 4自相关函数自相关函数)()(),(),(212121ttttRttXX 注注 5互协方差函数互协方差函数 6互相关函数互相关函数练习练习解解求求:(1)均值函数均值函数;(2)协方差函数协方差函数;(3)方差函数。方差函数。（1）)(tX 2cos)(tUEtXE 2cosUtE 3cos

13、 2t（2）),(21tt)()()()(2211ttXttXEXX 12(3)cos2(3)cos2 E UtUt212cos2 cos2(3)tt E U2cos2cos21UDtt 212cos2cos4tt（3）练习练习解解试求它们的互协方差函数。试求它们的互协方差函数。)(UtEtX UtE)(2UtEtY 2UEt),(21ttXY)()()()(22211UEttYUEttXE )(2221UEUEtt )(221UDtt 2213 tt 所以所以1.严平稳过程严平稳过程定义定义1则则 称为严平稳过程称为严平稳过程)(tX若对任意的若对任意的Ttttn,21，和任意的和任意的)(

14、Tti 使使得得记记为为具具有有相相同同的的联联合合分分布布,)(,),(1 ntXtX)(,),(1ntXtXd与与)(,),(1 ntXtX)(,),(1ntXtX严平稳过程的有限维分布关于时间是平移不变的严平稳过程的有限维分布关于时间是平移不变的.2.宽平稳过程宽平稳过程定义定义2如果它满足：如果它满足：)()(tXEtX则称则称 为宽平稳过程，为宽平稳过程，)(tX简称平稳过程简称平稳过程因为因为均值函数均值函数 )(tX2()R)(注注:(3)可等价描述为可等价描述为:.),(2121有有关关仅仅与与自自相相关关函函数数ttttR 注注2注注1 严平稳过程不一定是宽平稳过程。严平稳过

15、程不一定是宽平稳过程。因为严平稳过程不一定是二阶矩过程。因为严平稳过程不一定是二阶矩过程。若严平稳过程存在二阶矩，则它一定是宽平稳过程。若严平稳过程存在二阶矩，则它一定是宽平稳过程。宽平稳过程也不一定是严平稳过程。宽平稳过程也不一定是严平稳过程。因为宽平稳过程只保证一阶矩和二阶矩不随时间因为宽平稳过程只保证一阶矩和二阶矩不随时间推移而改变，这当然不能保证其有穷维分布不随推移而改变，这当然不能保证其有穷维分布不随时间而推移。时间而推移。性质性质1 平稳过程相关函数的性质平稳过程相关函数的性质(1)自相关函数的性质自相关函数的性质性质性质2(0)0R|()|(0)RR性质性质3()()RR(2)协

16、方差函数的性质协方差函数的性质性质性质2)0(|)(|性质性质3)()(性质性质1)(var)0(tX ,)(为为偶偶函函数数 练习练习;,2,1),(,)2,0(,cos)(是是宽宽平平稳稳序序列列证证明明的的随随机机变变量量上上的的均均匀匀分分布布是是服服从从这这里里设设 ttXUUttX 0cos21)(20 utdutXE ),(st usduutcoscos2120 Nststst ,021当当，当当解解:.,有有关关协协方方差差仅仅与与均均值值为为常常数数st )cos()cos(21coscosbababa UttXsin)()cos()cos(21sinsinbababa 的随

17、机变量序列的随机变量序列,)()(0nXiYin 则则令令练习练习Ttt ,)()(tXtX )(tX2.若对任意的若对任意的,增量增量的概率分布只依赖于的概率分布只依赖于而与而与 无关，则称随机过程无关，则称随机过程为为 。t齐次的齐次的独立增量过程独立增量过程 时齐的时齐的定义定义3.1.1:,0)(,0),(以以下下两两个个特特点点它它具具备备发发生生的的次次数数时时刻刻某某一一特特定定事事件件到到满满足足如如果果称称为为计计数数过过程程随随机机过过程程AttNttN.,()()()()(,)2(;0)()1(发发生生的的次次数数事事件件时时间间内内表表示示且且时时且且取取值值为为整整数

18、数AtssNtNtNsNtstN 第三章复习内容第三章复习内容定义定义3.1.2,2,1,0,!)()()(,0,0,)3(;)2(;0)0()1(,)0(0),(nntensNstNPtspoissonttNpoissonttNnt 有有即即对对一一切切发发布布的的次次数数服服从从均均值值为为的的的的时时间间区区间间中中事事件件发发生生在在任任一一长长度度为为过过程程有有独独立立增增量量如如果果过过程程的的称称为为参参数数为为计计数数过过程程)(2)()(,0)4()(1)()(,0,0)3(;)2(;0)0()1(,0),(hotNhtNPhhohtNhtNPhNttN 有有时时当当有有时

19、时当当存存在在过过程程有有平平稳稳独独立立增增量量它它满满足足是是一一个个计计数数过过程程设设 定义定义3.1.2的等价定义的等价定义显见显见Poisson过程本身不是平稳过程，其增量是过程本身不是平稳过程，其增量是平稳过程。平稳过程。(),0N t tPoisson设是参数为 的过程(,)min(,),0s ts ts t协方差函数2(,)min(,),0NRs tsts ts t自相关函数()E N tt均值函数()D N tt方差函数ttXEtX )()(ttX )(var,0 ts对对 )()()()()()(),(tXtXsXtXEsXtXEstRX )()()()(2tXEtXsX

20、tXE )()()()(2tXEtXsXEtXE )1()()(2 sttttst tststsXEtXEsXtXEstX )1()()()()(),(0,),min(),(tststs .3)4(1)1()3(;3)4(,1)1()2(;1)2()1(,2)0),(NNPNNPNPPoissonttX试求试求过程过程的的为强度为为强度为设设 解解:1)2(0)2(1)2()1(NPNPNP414045!14!04 eee2)1()4(1)1(3)4(,1)1()2(NNPNPNNP8261236!26!12 eee 3)4(1)1()3(NNP3)4(/3)4(,1)1(NPNNP)!38/

21、(36838 ee练习练习:1)()(,)0()0),(tXhtXPPoissonttX则则过程过程的的为强度为为强度为设设 hhe 函函数数为为的的概概率率密密度度则则对对应应的的时时间间间间隔隔序序列列是是过过程程的的为为强强度度为为设设),2,1(,)0()0),(nXXPoissonttXnnte 22t设设N(t)是参数为是参数为 的的Poisson过程过程,事件发生时刻事件发生时刻 在已知在已知N(t)=2的条件下的联合概率密度为的条件下的联合概率密度为_.2W,1W练习练习:.,的的指指数数分分布布参参数数为为服服从从间间各各次次事事件件发发生生的的间间隔隔时时过过中中 nXPo

22、isson.,分分布布的的和和参参数数为为服服从从次次事事件件发发生生时时刻刻第第过过中中 nTnPoissonn重要结论重要结论nnnnttttntttfTTTntN 2121210!),(,)(联联合合分分布布密密度度为为的的事事件件发发生生时时刻刻的的条条件件下下在在已已知知10,52.5,52.设某设备的使用期限为年 在前 年内它平均年需要维修一次 后 年内平均 年需维修一次试求它在使用期限内维修过三次的概率解解:强度函数为强度函数为过程过程此为非齐次此为非齐次,Poisson 105,2150,5.21)(ttt5.4215.21)()10(50105100 dtdtdttm34.5

23、(4.5)(10)(0)33!P NNe没被维修过的概率没被维修过的概率5.405.4!0)5.4(0)0()10(eeNNP练习练习:维修过一次的概率维修过一次的概率例例1解解设顾客到达某商场的过程是泊松过程设顾客到达某商场的过程是泊松过程,已知平均每小已知平均每小时有时有30人到达人到达,求下列事件的概率求下列事件的概率:两个顾客相继到达两个顾客相继到达的时间间隔的时间间隔:(1)超过超过2分钟分钟;(2)在在1分钟到分钟到3分钟之间分钟之间.0,00,5.0)(5.0 xxexfx若以分钟为单位若以分钟为单位,顾客到达数是强度为顾客到达数是强度为 的泊的泊松过程松过程.则顾客到达的时间间

24、隔则顾客到达的时间间隔 服从参数服从参数为为 的指数分布的指数分布,其密度函数为其密度函数为 5.0 5.0 1,nXn2)1(XPdxex 25.05.0dxeXPx 315.05.031)2(2321 ee1 e故故例例2：一理发师在一理发师在t=0时开门营业时开门营业,设顾客按强度为设顾客按强度为的泊松过程到达的泊松过程到达.若每个顾客理发需要若每个顾客理发需要a分钟分钟,a是正是正常数常数.求第二个顾客到达后不需等待就马上理发的求第二个顾客到达后不需等待就马上理发的概率及到达后等待时间概率及到达后等待时间S的平均值的平均值.解：解：设第一个顾客的到达时间为设第一个顾客的到达时间为T1，

25、第二个顾客的，第二个顾客的到达时间为到达时间为T2。令。令X2=T2-T1，则第二个顾客到达，则第二个顾客到达后不需等待等价于后不需等待等价于 X2a。由定理知由定理知X2服从参数为服从参数为 的指数分布，故的指数分布，故 atdteaXP 2 aatee 等待时间等待时间所所以以平平均均等等待待时时间间为为 aXaXXaS2220)1(1)(0aaxeadxexaES 000)(yyaeyfayY )(1)(tNiiYtX考虑一特定保险公司的全部赔偿，设在考虑一特定保险公司的全部赔偿，设在0,t 内投保内投保死亡的人数死亡的人数N(t)是发生率为是发生率为 的泊松过程。设的泊松过程。设 是是

26、第第n个投保人的赔偿价值，个投保人的赔偿价值，独立同分布。独立同分布。nY nY表示表示0,t 内保险公司必须付出的内保险公司必须付出的全部赔偿。全部赔偿。).(),(tVarXtEX试求试求练习练习:解：解：它它的的数数字字特特征征为为是是复复合合泊泊松松过过程程,)(tX)(,)(2YEttXVarEYttXE .的的指指数数分分布布显显然然服服从从参参数数为为 aYn2221,1EYYEaVarYaEY 222aYE 2222)(,1)(atattXVaratattXE 第四章 更新过程1.更新过程的定义更新过程的定义 设Xn,n1是独立同分布的非负随机变量，分布函数为F(x)，且F(0

27、)1，令010,nnkkTTX记 sup;nN tn Tt称N(t),t0更新过程更新过程。2、更新函数、更新函数 令令M(t)=EN(t)，称，称M(t)为更新函数。为更新函数。Theorem：1nnm tFt3.更新方程更新方程 设设M(t)为更新函数，其导数称为更新密度，记为更新函数，其导数称为更新密度，记为为m(t)，则则11()()()()nnnnM tF tm tf t其中其中 是是 的密度函数。的密度函数。()nf t()nF t 定义（更新方程）定义（更新方程）如下形式的积分方程称如下形式的积分方程称为更新方程为更新方程0()()()()tK tH tK ts dF s其中其中

28、H(t)，F(t)为已知，且当为已知，且当t0时，时，H(t)，F(t)均为均为0，当，当H(t)在任何区间上有界时称此方程为在任何区间上有界时称此方程为适定更新方程，简称更新方程适定更新方程，简称更新方程。更新方程的解更新方程的解 定理：定理：设更新方程中设更新方程中H(t)为有界函数，则为有界函数，则方程存在惟一的在有限区间内有界的解方程存在惟一的在有限区间内有界的解0()()()()tK tH tH ts dM s更新定理更新定理1、初等更新定理初等更新定理 11lim,(0)tm tt其中设 ，则nE X2、布莱克威尔、布莱克威尔(Blackwell)定理定理设F(x)为非负随机变量X

29、的分布函数 (1)若F(x)不是格点的，则对任意的a0，有 limtam tam t(2)若F(x)是格点的，周期为d，则dP在nd处发生更新limn容易看出，初等更新定理是容易看出，初等更新定理是BlackwellBlackwell定理定理的特殊情况。的特殊情况。记记 ，设，设h(t)0满足满足(1)h(t)非负不增；非负不增；(2)。H(t)是更新方程是更新方程 01,lim()0,th t dtH t nEX 0h t dt 0()()()()tH th tH tx dF x的解。那么的解。那么（1）若）若F(x)不是格点的不是格点的3、关键更新定理、关键更新定理（2）若）若F(x)是格

30、点的，对于是格点的，对于0cd0(),lim()0,nndh cndH cnd 注：注：关键更新定理与布莱克威尔关键更新定理与布莱克威尔(Blackwell)定理是等价性的定理是等价性的第五章复习内容第五章复习内容马尔可夫性即无后效性马尔可夫性即无后效性.nnSknkjmiknmijPPpppSjimnKC )()()()()2(1,0,）（有有对一切对一切方程方程状态的分类及性质是重点状态的分类及性质是重点互通互通,类类,不可约不可约,周期等概念周期等概念.状态状态i非常返非常返常返常返正常返正常返零常返零常返1 iif1 iif iu iu 1)(nniiiiff 1)(nniiinfu.

31、,的概率的概率有限步内可以到达有限步内可以到达出发出发表示从表示从iifii.所所需需的的平平均均步步数数出出发发再再返返回回到到表表示示由由iiui 0)(nniipi为为常常返返状状态态0lim11)(0)(niiniinniipfpi此时此时为非常返为非常返状态状态1.,1,.,)1(iiiufii此时此时则为吸收态则为吸收态且且遍历遍历状态状态则为遍历则为遍历且非周期且非周期正常返正常返状态状态0lim,)1()(nijnpSij有有则则对对为为非非常常返返或或零零常常返返若若状状态态jndijnudpSijidj )(lim,)2(有有则则对对为为正正常常返返且且周周期期为为若若状状

32、态态平稳分布与极限分布平稳分布与极限分布(重点重点)jjnijnup1lim,)(对对于于遍遍历历的的马马尔尔可可夫夫链链研究状态的关系研究状态的关系(重点重点),(21j jiiP11 ),(21j 解出解出 32312121P练习：设马氏链的状态空间为练习：设马氏链的状态空间为1,2,一步转移矩阵为一步转移矩阵为.,)3(12)2(12)1(12)3(11)2(11)1(11ffffff求求91313221,613121,21)3(11)2(11)1(11 fff812121,412121,212)3(12)2(12)1(12 fff解解:21213132 32312121P练习：设马氏链

33、的状态空间为练习：设马氏链的状态空间为1,2,一步转移矩阵为一步转移矩阵为解解:.,2211并并研研究究其其状状态态关关系系试试求求ff21213132状态转移图如右状态转移图如右:91313221,613121,21)3(11)2(11)1(11 fff,31)32(21,31)32(213)5(112)4(11 ff132191612111 f.1为为正正常常返返故故状状态态121312121,613121,32)3(22)2(22)1(22 fff,31)21(21,31)21(213)5(222)4(22 ff1211121613222 f.2为为正正常常返返故故状状态态2121313

34、2 32312121P练习：设马氏链的状态空间为练习：设马氏链的状态空间为1,2,一步转移矩阵为一步转移矩阵为.lim,nnP 并并求求试试求求其其平平稳稳分分布布解解:显然显然,此链具有遍历性。此链具有遍历性。13221312121212211由由解得解得53,5221 53525352limnnP 01001010ppP练习：设马氏链的状态空间为练习：设马氏链的状态空间为1,2,3,一步转移矩阵为一步转移矩阵为.,)3()4()2()2(PPPPP 并证明并证明试求试求解解:ppppPPP0101001)2(ppppPPP0101001)2()2()4(010010100101001)2(

35、)3(ppppppPPP 01001010pp 5.005.05.05.0005.05.0P练习：设马氏链的状态空间为练习：设马氏链的状态空间为1,2,3,一步转移矩阵为一步转移矩阵为13,021000 XPXPXP初始分布初始分布.3)2(;2,1)1(20的的概概率率态态求求经经两两步步转转移移后后处处于于状状求求 XXP解解:1212,1)1(02020 XXPXPXXP00)2(12 P(2)25.025.05.05.025.025.025.05.025.02P经两步转移后处于状态经两步转移后处于状态3的概率为的概率为25.025.05.025.0)1,0,0(32 XP设马氏链的状态

36、空间为设马氏链的状态空间为1,2,3,4,一步转移矩阵为一步转移矩阵为 100041414141002121002121P试研究其状态关系试研究其状态关系.解解:状态转移图如下状态转移图如下:21412141214121411练习练习121121,21,2121,211)(1111)(11)2(11)1(11 nnnnfffff121121,21,2121,211)(2222)(22)2(22)1(22 nnnnfffff141),2(0,4133)(33)1(33 fnffn,1)1(44 f 11)(11122nnnnnnfu又又因因为为 11)(22222nnnnnnfu又又因因为为故状

37、态故状态1与与2都是正常返状态都是正常返状态,又因周期都是又因周期都是1,故都为故都为遍历状态遍历状态.故状态故状态3是非常返状态是非常返状态.1111)(444 nnnfu故状态故状态4是吸收状态是吸收状态.练习练习设马氏链的状态空间为设马氏链的状态空间为1,2,一步转移矩阵为一步转移矩阵为 8.02.02.08.0P.求求平平稳稳分分布布平稳分布满足平稳分布满足解：解：)21,21(,21,2118.02.02.08.02121212211 故故解得解得练习练习 设马氏链的状态空间为设马氏链的状态空间为1,2,一步转移矩阵为一步转移矩阵为 83854143P.limnnP 求求平平稳稳分分

38、布布及及解解:)72,75(,72,7512121 故故解得解得由由P 72757275lim,lim)(nnnijnjPP得得由由 27,5721121 uuujj分别为分别为的平均回转时间的平均回转时间与与知状态知状态还可由还可由 第六章复习内容第六章复习内容了解上鞅了解上鞅,下鞅下鞅,鞅的定义鞅的定义.”“赌博赌博有利有利赌博中下鞅体现了赌博中下鞅体现了.”“赌博赌博不利不利赌博中上鞅体现了赌博中上鞅体现了.”“赌博赌博公平公平赌博中鞅体现了赌博中鞅体现了 、上鞅nXnY 上鞅nnYX 、下鞅nXnY 下鞅nnYX 上鞅 下鞅nXnY 上鞅nnYX 下鞅 上鞅nXnY 下鞅nnYX 下鞅

39、nnXY 上鞅nnXY nX nY若若为下鞅，为下鞅，为上鞅，则有为上鞅，则有()nnXY为下鞅为下鞅 AnnXY为上鞅为上鞅 BnnXY为下鞅为下鞅 CnnXY为上鞅为上鞅 DA练习练习:第七章复习内容第七章复习内容Brown运动的定义运动的定义),0()(,0)3(;0),()2(;0)0()1(0),(2tNtXtttXXttX 服服从从正正态态分分布布对对每每一一个个有有平平稳稳独独立立增增量量如如果果满满足足随随机机过过程程 .,1运动运动称为标准称为标准Brown .,路路径径的的连连续续性性独独立立增增量量正正态态增增量量运运动动的的性性质质Brown(1)0)2(,0),(BP

40、BrownttB则则运动运动是标准是标准设设(2),(,0),(tsBrownttB则则协协方方差差函函数数运运动动是是标标准准设设,mints21(3).)5()1(,0),(BBEBrownttB则则运动运动是标准是标准设设1)1()4(,0),(BBBrownttB 则则运动运动是标准是标准设设)3,0(N(4)2()1(,0),(BBBrownttB 则则运动运动是标准是标准设设(5)5,0(N)6)12)(1(,0()()2()1(nnnNnBBB22221n 概概率率密密度度函函数数为为的的则则运运动动是是标标准准设设)(,0),(tBBrownttB txet2221(6)的概率

41、密度函数为的概率密度函数为)2(B4221xe ),(,0),(中中没没有有零零点点在在则则运运动动是是设设baBPBrownttByy )3,1(,0),(中中没没有有零零点点在在则则运运动动是是设设yyBPBrownttBbaarcsin231arcsin2 )3,1(,0),(中中至至少少有有一一个个零零点点在在则则运运动动是是设设yyBPBrownttB(7)(8)(9)31arccos2.)5()2()1(,0),(的分布的分布求求运动运动是是设设BBBBrownttB 解解:阵阵具具有有零零均均值值和和协协方方差差矩矩服服从从多多元元正正态态分分布布则则设设,)5(),2(),1(

42、XBBBX 521221111)5()2()1(),1,1,1(BBBAXA 则则设设 .16,的的正正态态分分布布方方差差为为为为均均值值为为零零AA练习练习重要结论重要结论Brown运动具有运动具有Markov性性.)()(,)(2是鞅是鞅是鞅，是鞅，则则运动运动是是设设ttBtBBrowntB Brown桥的定义桥的定义,原定反射的原定反射的Brown运动的定义运动的定义,几何几何Brown运动的定义运动的定义,有漂移的有漂移的Brown运动的定运动的定义义练习练习:计算计算Brown桥的均值桥的均值,方差方差,协方差函数协方差函数.10),1()()(*ttBtBtB),0()(tNt

43、B其中其中解解:0)(*tBE)1()()(1()()()(*tBtBsBsBEtBsBE )1()1()()1()()()(2tsBBtsBBstBtBsBE sttstssttsts ,min,min2*)(tttBVar 利用标准布朗运动的矩母函数利用标准布朗运动的矩母函数2)(2)(tutuBeeE 计算几何布朗运动计算几何布朗运动0,)()(tetXtB的均值函数与方差函数的均值函数与方差函数.练习练习:解解:2)()(ttBeeEtXE 22)()()(tXEtXEtXVar 22)(2)(ttBeeE ttee 2练习练习:计算有漂移的计算有漂移的Brown运动的均值运动的均值,方差方差,协方差函数协方差函数.解解:ttBtX )()(),0()(tNtB其中其中ttXE )(ttXD)()()()(),(221121ttXttXEttX )()()(222111tttBtttBE 0,min)()(212121 tttttBtBEttBtX )()(),0()(tNtB其中其中有漂移的有漂移的Brown运动运动.0运运动动时时即即为为标标准准当当Brown