1、应用随机过程应用随机过程清华大学数学科学系清华大学数学科学系林元烈林元烈 主讲主讲教材：应用随机过程教材：应用随机过程（第三次印刷）（第三次印刷）林元烈，清华大学出版社林元烈，清华大学出版社2022-5-19应用随机过程讲义应用随机过程讲义 第一讲第一讲12022-5-192学习要求学习要求 不仅是掌握知识，更重要的是掌握思想 学会把抽象的概率和实际模型结合起来2022-5-193学习重点学习重点1.用随机变量表示事件及其分解基本理论2.全概率公式基本技巧3.数学期望和条件数学期望基本概念2022-5-194第一讲第一讲2022-5-195随机事件与概率随机事件与概率随机试验随机试验 2022
2、-5-196要点：在相同条件下，试验可重复进行；试验的一切结果是预先可以明确的，但每次试验前无法预先断言究竟会出现哪个结果。2022-5-197样本点样本点 对于随机试验E，以表示它的一个可能出现的试验结果，称为E的一个样本点。 样本空间样本空间 样本点的全体称为样本空间，用表示。 2022-5-198随机事件随机事件 粗略地说，样本空间的子集就是随机事件，用大写英文字母A、B、C等来表示。 事件的关系与运算事件的关系与运算 不发生。发生，但事件：事件中至少有一事件发生。：事件同时发生。：事件BABABABABABA,2022-5-199nnnnnnnnnnnnAAAAAAAAnAlim,li
3、m,1,1111称之为单调不增序列。若称之为单调不减序列。若事事件件序序列列2022-5-1910.limlimlimlimliminflimlim)(suplimlim)(11nnnnnnnnnnnnnnknknnnnnknknAAAAAAAAAAA则定义，如果2022-5-1911AIAIAAIAAA0)(:1)(:, 0, 1)(事件事件示性函数示性函数是最简单的随机变量用随机变量来表示事件2022-5-1912，则若取上端取下端)()()()()()()(,)()()()()()(,),max(,),min(BABABABABABABABAIIBAIIBAIIIBAIIIIIIbaba
4、baba用示性函数的关系及运算来用示性函数的关系及运算来表示相关事件的关系及运算表示相关事件的关系及运算2022-5-1913公理化定义公理化定义是最简单的集类。称为集类。的集合的子集作为元素构成的粗略地说，由,集类集类2022-5-19142022-5-1915概率概率2022-5-1916：事件的概率的元素，事件：概率：完全可加的集函数，代数：集类，：集合，样本空间)(),(APAPP概概率率空空间间2022-5-1917隐含了等可能条件点集的面积点集的面积几何概型隐含了等可能条件中的样本点数目中的样本点数目古典概型AAPAAAPA)(. 2)()()(. 12022-5-1918概率是满
5、足1)非负性；2)归一性；3)可列可加性；的集函数。可测集可测集 粗略地说，可以定义长度（面积、体积）的点集即为可测集；反之称为不可测集。2022-5-1919概率的性质概率的性质1. 1. 2. 2. 3. 3. 有限可加性有限可加性 0)(P)(1)(APAPnkknkknAPAPjiAAAAA1121)()(),(,.,则且若由概率非负性即得，显然有, )()(.1kPP即得及完全（可列）可加性由0)(P2022-5-1920)()()()()()(,BPAPBAPABABPAPBAPBA若)()()()(ABPBPAPBAP4. 4. 5. 5. 6. 6. )()(,BPAPBA则若
6、2022-5-19217. 7.8. 8. 可列次可加性可列次可加性9. 9. 概率连续性概率连续性).() 1(.)()()()(, 2,1 ,2111111nnnjikjinjijinkknkkkAAAPAAAPAAPAPAPnnkA11)()(kkkkAPAP)(lim)lim(1,nnnnnAPAPnA为单调事件序列，则若2022-5-1922这部分的详细讨论可以参见这部分的详细讨论可以参见 随机数学引论随机数学引论 林元烈，清华大学出版社林元烈，清华大学出版社2022-5-1923 Buffon试验：最早用随机试验的方法求某个未知的数。 测度测度：满足非负性、可列可加性的集函数。20
7、22-5-1924.)(,可测集为一维，称代数一维称为代数生成的则由设集类BorelBorelbaRbaba2022-5-1925实际上，设集类以上集类和A生成相同的-代数,都是上面提到的一维Borel-代数，即:,),(,),(,(,),52121321中开集为为有理数RGGrrrrbaRbababaRbababaRbaba)51 (),()(kk2022-5-1926 直观地说， 中包含一切开区间，闭区间，半开半闭区间，半闭半开区间，单个实数，以及由它们经可列次并交运算而得出的集类。)(2022-5-19272022-5-1928 2022-5-1929)|()()|()()()()|()
8、()()|(,ABPAPBAPBPABPAPAPBPABPBAPBA件概率相同。条件概率的性质与无条条件概率条件概率2022-5-1930kkkkklkkkkkCBAPCBPCAPBAlkBBkBBAPBPAP)|()|()|(,1 ,)|()()(，全概率公式全概率公式2022-5-1931事件的独立性事件的独立性独立独立BAAPBAPBAPBPAPABPBA,)()|()|()()()(,2022-5-1932 )()()()()()()()()()()()()(,CPBPAPABCPCPBPBCPCPAPACPBPAPABPCBA等式相互独立，要满足四个三个事件几个事件的独立性几个事件的
9、独立性2022-5-1933.,.,),(),(.,;,;,;,;,;,;,;,21221121独立均与和例如，独立则任取记独立独立独立独立独立独立独立独立下列命题等价：CBABAABAAAACBACBACBACBACBACBACBACBACBA2022-5-1934独立。和则设独立，若21112112121),.(),.,()().()().(,.1,.,2121BBAABAAABAPAPAPAAAPniiiAAAnmmiiiiiiknkk2022-5-1935).()(,0)|(,05. 0)|(, 6 . 0)(,98. 0)|(, 8 . 0)|(, 6 . 0)()31 (13213
10、21213121213121BPAPBBBBAAAABBBPBBPBPAAAPAAPAPkkBAkk和求：，令。已知次试验成功，甲乙两人第为，验，记：甲乙两人各做三次试例2022-5-193662. 0005. 04 . 06 . 0)(9984. 098. 02 . 04 . 08 . 04 . 06 . 0)|()()|()()()(213211211321211BPAAAPAAPAAPAPAPAPAAAAAAA（互不相容）解：比较甲乙两人的结果，从以上结果可以得到什么结论？2022-5-1937机遇偏爱有心人！机遇偏爱有心人！2022-5-1938功的概率。，求至少有一次成，若概率为次成
11、功次独立重复试验，设每：进行例40002. 02nn.9997. 0)98. 0(1)(400AP 一次成功的概率只有一次成功的概率只有2 2，是典型的小概率事件；，是典型的小概率事件； 但重复次数足够多，如但重复次数足够多，如n=400n=400， 至少一次成功就是大概率事件！至少一次成功就是大概率事件！ 2022-5-1939只要功夫深，铁杵磨成针！2022-5-1940随机变量随机变量定义解释定义解释可测性要求。保证了概率定义的是可测映射；)(:,),(),(:)(aXRaRX2022-5-1941离散型随机变量的示性函数表示法离散型随机变量的示性函数表示法 这说明对于任一d.v.r.，
12、总可以分解为互不交的事件的示性函数的迭加。, )()(),:(,),(,.1kBkkkkkIxXXxXBNkxXPXvrd可以表示为则设事件若其分布律为：2022-5-1942随机变量等价定义随机变量等价定义分布函数分布函数2022-5-1943连续型随机变量的概率密度函数连续型随机变量的概率密度函数微元法求概率密度函数微元法求概率密度函数2022-5-1944二维随机变量的分布函数 二维Borel-代数 由平面上矩形的全体生成的代数2 , 1,: ,2211ibababaii2022-5-1945联合密度函数联合密度函数亦可用微元法求亦可用微元法求2022-5-1946常用随机变量的分布（列
13、出,期望方差）两点分布 正态分布二项分布 指数分布 Poisson分布 均匀分布 几何分布二维正态分布2022-5-1947两点分布若r.v.X只取1和0两个值，且则称r.v.X服从参数为p的两点分布。简记为：XB(1,p).即AAIXAA01)()(,) 10( ,1)0(,) 1(ppXPpXPEX=p,DX=p(1-p)2022-5-1948EX=np,DX=np(1-p)EX=1/p,DX=(1-p)/p22022-5-1949EX=,DX=EX=(a+b)/2,DX=(b-a)2/122022-5-1950EX=1/,DX=1/2EX=,DX=22022-5-1951 二维正态分布的
14、优良性质 X,Y相互独立 X,Y不相关随机变量的数字特征随机变量的数字特征及条件数学期望及条件数学期望2022-5-19应用随机过程讲义应用随机过程讲义 第一讲第一讲522022-5-1953数学期望（复习）数学期望（复习） “ “加权平均加权平均” 为了引出一般随机变量的定义，我们先介绍为了引出一般随机变量的定义，我们先介绍R-SR-S积积分的概念。分的概念。dxxxfxXPxEXXkk)()(kkkPxdxxfxX)(|2022-5-1954黎曼斯蒂尔吉斯积分黎曼斯蒂尔吉斯积分2022-5-1955任分任取任分任取求和求和取极限取极限2022-5-19562022-5-1957 在定义了R
15、-S积分之后，我们可以将所有随机变量的数学期望形式进行统一。)(xXxdPEXdxxfxgxdFxgxfxF)()()()(),()(则若2022-5-19582022-5-1959数学期望的性质（数学期望的性质（E E| |X Xi i|）2022-5-1960 不独立反之，独立YXYEXEXYEYEXEXYEYX,)()()()()()(, 1110)()() 1()(kkkikkXPkXPkXkPEXX取值非负整数交换求和顺序交换求和顺序2022-5-1961 0000)()()()(0dxxXPxXdPdyxXxdPEXXx若同理，对连续型随机变量有相似的结论成立同理，对连续型随机变量
16、有相似的结论成立2022-5-19622022-5-19632022-5-19642022-5-19652022-5-1966Chebyshev不等式) 1(|)|(|)|(|, 02pEXXEEXXPDXEXXPpp2022-5-1967 条件数学期望条件数学期望)(Ni2022-5-19682022-5-19692022-5-1970用示性函数的线性组合表示离散型随机变量用示性函数的线性组合表示离散型随机变量 （见前面（见前面“随机变量随机变量”部分部分 ）2022-5-1971例：)()|()()|()0|() 1|()|()|() 1|0(0) 1| 1(1) 1|()()0(0) 1
17、(1)(,)0()1(BBIBAIBABABABABAAAABAIBAPIBAPIIIEIIIEIIEBAPIIPIIPIIEAPIPIPIEBAIYIXBB，随机变量将概率运算纳入求期望运算的范畴将概率运算纳入求期望运算的范畴2022-5-1972理解理解E(X|Y)是的函数，也是Y()的函数，即Y() 取值不同， E(X|Y)也取相应的值； 当Y是离散型随机变量时，E(X|Y)也是离散型随机变量。2022-5-19732022-5-1974推广至一般随机变量推广至一般随机变量2022-5-1975将将x x替换成替换成X X2022-5-1976求条件数学期望的一般步骤 先写出固定条件(如
18、Y=yj)的情况下X的条件分布律或条件密度函数； 根据条件数学期望的定义，通过求和或积分得到条件下的数学期望； 将条件(Y=yj)替换成一般情况下的随机变量(Y)2022-5-1977条件数学期望的性质条件数学期望的性质设E(Y),E(Xi|Y),E(h(Y),Eg(X)h(Y)存在，则( (重要重要!) !) 全期望公式全期望公式2022-5-19782022-5-1979jjjjyYjAjyYjAAAjjABPBAPIEyYIEIyYIEEYIEEIEAPyYBvrdYIXjj)()|()()|()|()|()()()(:.,.,事件为令将全概率公式纳入全期望公式的范畴将全概率公式纳入全期
19、望公式的范畴2022-5-1980重要结论：重要结论：E E( (X|YX|Y) )=E=E( (E E( (X|Y,ZX|Y,Z) )|Y|Y) )=E=E E(X|Y)|Y,ZE(X|Y)|Y,Z 以示性函数为例，验证上面的结论CBCBACBCBACBCBABCCBACBAIIIIEIIIIEIIIIEIIIIEIIIE)0, 1|()0, 0|() 1, 0|() 1, 1|(),|(CBCBCBBCICBAPICBAPICBAPIBCAP)|()|()|()|(2022-5-1981BBIBCAPBACPIBCAPBACP)|()|()|()|(BBBCBAIBCBPCBAPBCBPC
20、BAPIBCBPCBAPBBCPBCAPIIIIEE)|()|()|()|()|()|()|()|(| ),|(同理可验证另一个等号同理可验证另一个等号)|()|()|(BABBIIEIBAPIBAP2022-5-1982例：).,|(),|(),0|()|(., 0, 01, 0) 1(, 0) 1(. .1,21100210023231000YYXEXXEXXEXXEYXXXYqpqYPpYPdi inYnkknnnn的示性函数表示式及求令随机变量序列2022-5-1983)2()0()2(23223223223222)2()()2()()|()|()|(XXXIqpIqpIqpqpXEY
21、XXYEXXYXEXXE由由 X X2 2和和Y Y3 3独立独立用示性函数表示用示性函数表示X X2 22022-5-1984)(98),|()(98)|()|(212110022100322100qpYYYYXEqpXXYXEXXEKk)(22)0|2(2)0|0(0)0|()0|()0|(223222232223223qppqppEYXXPXXPEYXXEXYXEXXE2022-5-1985推广：条件为两个随机变量E(X|Y,Z)如： 男 南 女 北仍然以离散情况下的情形为例： 先求出E(X|Y=yj ,Z=zk )g(yj, zk)，依次可写出E(X|Y,Z)的分布律。10Yg(yj, zk)是关于yj, zk的二元函数10Z
