应用随机过程讲义汇总课件.ppt

1、应用随机过程应用随机过程清华大学数学科学系清华大学数学科学系林元烈林元烈 主讲主讲教材：教材：应用随机过程应用随机过程（第三次印刷）（第三次印刷）林元烈，清华大学出版社林元烈，清华大学出版社2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲2学习要求学习要求 不仅是掌握知识，更重要的是掌握思想 学会把抽象的概率和实际模型结合起来2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲3学习重点学习重点1.用随机变量表示事件及其分解基本理论2.全概率公式基本技巧3.数学期望和条件数学期望基本概念2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲4第一讲第一讲2022

2、-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲5随机事件与概率随机事件与概率随机试验随机试验 2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲6要点：在相同条件下，试验可重复进行；试验的一切结果是预先可以明确的，但每次试验前无法预先断言究竟会出现哪个结果。2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲7样本点样本点 对于随机试验E，以表示它的一个可能出现的试验结果，称为E的一个样本点。样本空间样本空间 样本点的全体称为样本空间，用表示。2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲8随机事件随机事件 粗略地说，样本空间的子集就是随机事件，用

3、大写英文字母A、B、C等来表示。事件的关系与运算事件的关系与运算 不发生。发生，但事件：事件中至少有一事件发生。：事件同时发生。：事件BABABABABABA,2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲9nnnnnnnnnnnnAAAAAAAAnAlim,lim,1,1111称之为单调不增序列。若称之为单调不减序列。若事事件件序序列列2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲10.limlimlimlimliminflimlim)(suplimlim)(11nnnnnnnnnnnnnnknknnnnnknknAAAAAAAAAAA则定义，如果2022-8

4、-2应用随机过程讲义应用随机过程讲义 第一讲第一讲11AIAIAAIAAA0)(:1)(:,0,1)(事件事件示性函数示性函数是最简单的随机变量用随机变量来表示事件2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲12，则若取上端取下端)()()()()()()(,)()()()()()(,),max(,),min(BABABABABABABABAIIBAIIBAIIIBAIIIIIIbabababa用示性函数的关系及运算来用示性函数的关系及运算来表示相关事件的关系及运算表示相关事件的关系及运算2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲13公理化定义公理化定义是

5、最简单的集类。称为集类。的集合的子集作为元素构成的粗略地说，由,集类集类2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲142022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲15概率概率2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲16：事件的概率的元素，事件：概率：完全可加的集函数，代数：集类，：集合，样本空间)(),(APAPP概概率率空空间间2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲17隐含了等可能条件点集的面积点集的面积几何概型隐含了等可能条件中的样本点数目中的样本点数目古典概型AAPAAAPA)(.2)()()(.1202

6、2-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲18概率是满足1)非负性；2)归一性；3)可列可加性；的集函数。可测集可测集 粗略地说，可以定义长度（面积、体积）的点集即为可测集；反之称为不可测集。2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲19概率的性质概率的性质1.2.3.有限可加性有限可加性 0)(P)(1)(APAPnkknkknAPAPjiAAAAA1121)()(),(,.,则且若由概率非负性即得，显然有,)()(.1kPP即得及完全（可列）可加性由0)(P2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲20)()()()()()(,BPAP

7、BAPABABPAPBAPBA若)()()()(ABPBPAPBAP4.5.6.)()(,BPAPBA则若2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲217.8.可列次可加性可列次可加性9.概率连续性概率连续性).()1(.)()()()(,2,1,2111111nnnjikjinjijinkknkkkAAAPAAAPAAPAPAPnnkA11)()(kkkkAPAP)(lim)lim(1,nnnnnAPAPnA为单调事件序列，则若2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲22这部分的详细讨论可以参见这部分的详细讨论可以参见 随机数学引论随机数学引论 林元

8、烈，清华大学出版社林元烈，清华大学出版社2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲23 Buffon试验：最早用随机试验的方法求某个未知的数。测度测度：满足非负性、可列可加性的集函数。2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲24.)(,可测集为一维，称代数一维称为代数生成的则由设集类BorelBorelbaRbaba2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲25实际上，设集类以上集类和A生成相同的-代数,都是上面提到的一维Borel-代数，即:,),(,),(,(,),52121321中开集为为有理数RGGrrrrbaRbababa

9、RbababaRbaba)51(),()(kk2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲26 直观地说，中包含一切开区间，闭区间，半开半闭区间，半闭半开区间，单个实数，以及由它们经可列次并交运算而得出的集类。)(2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲272022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲28 2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲29)|()()|()()()()|()()()|(,ABPAPBAPBPABPAPAPBPABPBAPBA件概率相同。条件概率的性质与无条条件概率条件概率2022-8-2

10、应用随机过程讲义应用随机过程讲义 第一讲第一讲30kkkkklkkkkkCBAPCBPCAPBAlkBBkBBAPBPAP)|()|()|(,1,)|()()(，全概率公式全概率公式2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲31事件的独立性事件的独立性独立独立BAAPBAPBAPBPAPABPBA,)()|()|()()()(,2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲32 )()()()()()()()()()()()()(,CPBPAPABCPCPBPBCPCPAPACPBPAPABPCBA等式相互独立，要满足四个三个事件几个事件的独立性几个事件的独

11、立性2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲33.,.,),(),(.,;,;,;,;,;,;,;,21221121独立均与和例如，独立则任取记独立独立独立独立独立独立独立独立下列命题等价：CBABAABAAAACBACBACBACBACBACBACBACBACBA2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲34独立。和则设独立，若21112112121),.(),.,()().()().(,.1,.,2121BBAABAAABAPAPAPAAAPniiiAAAnmmiiiiiiknkk2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲35)

12、.()(,0)|(,05.0)|(,6.0)(,98.0)|(,8.0)|(,6.0)()31(1321321213121213121BPAPBBBBAAAABBBPBBPBPAAAPAAPAPkkBAkk和求：，令。已知次试验成功，甲乙两人第为，验，记：甲乙两人各做三次试例2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲3662.0005.04.06.0)(9984.098.02.04.08.04.06.0)|()()|()()()(213211211321211BPAAAPAAPAAPAPAPAPAAAAAAA（互不相容）解：比较甲乙两人的结果，从以上结果可以得到什么结论？2

13、022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲37机遇偏爱有心人！机遇偏爱有心人！2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲38功的概率。，求至少有一次成，若概率为次成功次独立重复试验，设每：进行例40002.02nn.9997.0)98.0(1)(400AP 一次成功的概率只有一次成功的概率只有2，是典型的小概率事件；，是典型的小概率事件；但重复次数足够多，如但重复次数足够多，如n=400，至少一次成功就是大概率事件！至少一次成功就是大概率事件！2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲39只要功夫深，铁杵磨成针！2022-8-2应用随机

14、过程讲义应用随机过程讲义 第一讲第一讲40随机变量随机变量定义解释定义解释可测性要求。保证了概率定义的是可测映射；)(:,),(),(:)(aXRaRX2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲41离散型随机变量的示性函数表示法离散型随机变量的示性函数表示法 这说明对于任一d.v.r.，总可以分解为互不交的事件的示性函数的迭加。,)()(),:(,),(,.1kBkkkkkIxXXxXBNkxXPXvrd可以表示为则设事件若其分布律为：2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲42随机变量等价定义随机变量等价定义分布函数分布函数2022-8-2应用随机过

15、程讲义应用随机过程讲义 第一讲第一讲43连续型随机变量的概率密度函数连续型随机变量的概率密度函数微元法求概率密度函数微元法求概率密度函数2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲44二维随机变量的分布函数 二维Borel-代数 由平面上矩形的全体生成的代数2,1,:,2211ibababaii2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲45联合密度函数联合密度函数亦可用微元法求亦可用微元法求2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲46常用随机变量的分布（列出,期望方差）两点分布 正态分布二项分布 指数分布 Poisson分布 均匀分布

16、 几何分布二维正态分布2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲47两点分布若r.v.X只取1和0两个值，且则称r.v.X服从参数为p的两点分布。简记为：XB(1,p).即AAIXAA01)()(,)10(,1)0(,)1(ppXPpXPEX=p,DX=p(1-p)2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲48EX=np,DX=np(1-p)EX=1/p,DX=(1-p)/p22022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲49EX=,DX=EX=(a+b)/2,DX=(b-a)2/122022-8-2应用随机过程讲义应用随机过程讲义 第一

17、讲第一讲50EX=1/,DX=1/2EX=,DX=22022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲51 二维正态分布的优良性质 X,Y相互独立 X,Y不相关随机变量的数字特征随机变量的数字特征及条件数学期望及条件数学期望2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲53数学期望（复习）数学期望（复习）“加权平均加权平均”为了引出一般随机变量的定义，我们先介绍为了引出一般随机变量的定义，我们先介绍R-S积积分的概念。分的概念。dxxxfxXPxEXXkk)()(kkkPxdxxfxX)(|2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲54黎曼斯蒂尔

18、吉斯积分黎曼斯蒂尔吉斯积分2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲55任分任取任分任取求和求和取极限取极限2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲562022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲57 在定义了R-S积分之后，我们可以将所有随机变量的数学期望形式进行统一。)(xXxdPEXdxxfxgxdFxgxfxF)()()()(),()(则若2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲582022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲59数学期望的性质（数学期望的性质（E|Xi|）2022-8-

19、2应用随机过程讲义应用随机过程讲义 第一讲第一讲60 不独立反之，独立YXYEXEXYEYEXEXYEYX,)()()()()()(,1110)()()1()(kkkikkXPkXPkXkPEXX取值非负整数交换求和顺序交换求和顺序2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲61 0000)()()()(0dxxXPxXdPdyxXxdPEXXx若同理，对连续型随机变量有相似的结论成立同理，对连续型随机变量有相似的结论成立2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲622022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲632022-8-2应用随机

20、过程讲义应用随机过程讲义 第一讲第一讲642022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲652022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲66Chebyshev不等式)1(|)|(|)|(|,02pEXXEEXXPDXEXXPpp2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲67 条件数学期望条件数学期望)(Ni2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲682022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲692022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲70用示性函数的线性组合表示离散型随机变量用

21、示性函数的线性组合表示离散型随机变量 （见前面（见前面“随机变量随机变量”部分部分）2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲71例：)()|()()|()0|()1|()|()|()1|0(0)1|1(1)1|()()0(0)1(1)(,)0()1(BBIBAIBABABABABAAAABAIBAPIBAPIIIEIIIEIIEBAPIIPIIPIIEAPIPIPIEBAIYIXBB，随机变量将概率运算纳入求期望运算的范畴将概率运算纳入求期望运算的范畴2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲72理解理解 E(X|Y)是的函数，也是Y()的函数，即Y(

22、)取值不同，E(X|Y)也取相应的值；当Y是离散型随机变量时，E(X|Y)也是离散型随机变量。2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲732022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲74推广至一般随机变量推广至一般随机变量2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲75将将x替换成替换成X2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲76求条件数学期望的一般步骤 先写出固定条件(如Y=yj)的情况下X的条件分布律或条件密度函数；根据条件数学期望的定义，通过求和或积分得到条件下的数学期望；将条件(Y=yj)替换成一般情况下

23、的随机变量(Y)2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲77条件数学期望的性质条件数学期望的性质设E(Y),E(Xi|Y),E(h(Y),Eg(X)h(Y)存在，则(重要重要!)全期望公式全期望公式2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲782022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲79jjjjyYjAjyYjAAAjjABPBAPIEyYIEIyYIEEYIEEIEAPyYBvrdYIXjj)()|()()|()|()|()()()(:.,.,事件为令将全概率公式纳入全期望公式的范畴将全概率公式纳入全期望公式的范畴2022-8-

24、2应用随机过程讲义应用随机过程讲义 第一讲第一讲80重要结论：重要结论：E(X|Y)=E(E(X|Y,Z)|Y)=EE(X|Y)|Y,Z以示性函数为例，验证上面的结论CBCBACBCBACBCBABCCBACBAIIIIEIIIIEIIIIEIIIIEIIIE)0,1|()0,0|()1,0|()1,1|(),|(CBCBCBBCICBAPICBAPICBAPIBCAP)|()|()|()|(2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲81BBIBCAPBACPIBCAPBACP)|()|()|()|(BBBCBAIBCBPCBAPBCBPCBAPIBCBPCBAPBBCPB

25、CAPIIIIEE)|()|()|()|()|()|()|()|(|),|(同理可验证另一个等号同理可验证另一个等号)|()|()|(BABBIIEIBAPIBAP2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲82例：).,|(),|(),0|()|(.,0,01,0)1(,0)1(.1,21100210023231000YYXEXXEXXEXXEYXXXYqpqYPpYPdi inYnkknnnn的示性函数表示式及求令随机变量序列2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲83)2()0()2(23223223223222)2()()2()()|()|()|

26、(XXXIqpIqpIqpqpXEYXXYEXXYXEXXE由由 X2和和Y3独立独立用示性函数表示用示性函数表示X22022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲84)(98),|()(98)|()|(212110022100322100qpYYYYXEqpXXYXEXXEKk)(22)0|2(2)0|0(0)0|()0|()0|(223222232223223qppqppEYXXPXXPEYXXEXYXEXXE2022-8-2应用随机过程讲义应用随机过程讲义 第一讲第一讲85推广：条件为两个随机变量E(X|Y,Z)如：男 南 女 北仍然以离散情况下的情形为例：先求出E(X|Y=yj,Z=zk)g(yj,zk)，依次可写出E(X|Y,Z)的分布律。10Yg(yj,zk)是关于yj,zk的二元函数10Z