1、第五章第五章 大数定律与中心极限定理大数定律与中心极限定理 大数定律和中心极限定理是概率论中两类极限定理大数定律和中心极限定理是概率论中两类极限定理. 前者是前者是从理论上证明随机现象的从理论上证明随机现象的“频率稳定性频率稳定性”，并进一步推广到，并进一步推广到“算算术术平均值法则平均值法则”；而后者证明了独立随机变量标准化和极限分布是；而后者证明了独立随机变量标准化和极限分布是正态分布或近似正态分布问题，这两类极限定理揭示了随机变正态分布或近似正态分布问题，这两类极限定理揭示了随机变量的重要的统计规律，在理论和应用上都有很重要的意义。量的重要的统计规律，在理论和应用上都有很重要的意义。 5
2、.1 5.1 大数定律大数定律 一、契贝谢夫不等式一、契贝谢夫不等式 随机变量的方差反映了其分布的分散程度，下面这个定理随机变量的方差反映了其分布的分散程度，下面这个定理 将更精确地说明这点将更精确地说明这点 定理定理1(契贝谢夫不等式契贝谢夫不等式) 设设E(X) =，D(X)=2，则，则 对任意正数对任意正数，有，有22| XP221| XPdxxfxx)()(|22 这个不等式称为这个不等式称为契贝谢夫不等式契贝谢夫不等式，它也等价于，它也等价于 证明证明 （1）连续型随机变量的情况）连续型随机变量的情况 设设X 的概率密度函数为的概率密度函数为f(x)，则，则| XP |)(xdxxf
3、dxxfx)()(22 222)( XD（2）离散型随机变量的情况）离散型随机变量的情况设设X 的概率分布律为的概率分布律为), 2 , 1( kxXPpkk| XP |22|)(kkxkkxkpxp2222)(1 kkkpx 运用契贝谢夫不等式，可以在运用契贝谢夫不等式，可以在X 的分布未知的情况下，利用的分布未知的情况下，利用X 的期望和方差，对其在某个范围内取值的概率作出估计契贝的期望和方差，对其在某个范围内取值的概率作出估计契贝谢夫不等式在理论上和应用中都有重要价值如在谢夫不等式在理论上和应用中都有重要价值如在3原理中取原理中取 则可得：则可得：,3,2 75. 0412|22 XP9
4、8913|22 XP 例例1 某地区有某地区有10000盏电灯盏电灯, 每晚每盏电灯开灯的概率均为每晚每盏电灯开灯的概率均为0.7, 假定灯的开头互相独立假定灯的开头互相独立, 用契贝谢夫不等式估计每晚同时开用契贝谢夫不等式估计每晚同时开着的电灯数在着的电灯数在6800到到7200盏之间的概率盏之间的概率 解令解令X表示夜晚同时开着的电灯数，则表示夜晚同时开着的电灯数，则XB(10000,0.7), 这这时时E(X)= np=7000，D(X) = np(1p)=2100.由契贝谢夫不等式由契贝谢夫不等式可得估计可得估计72006800 XP200|7000| XP95. 0200210012
5、 事实上，这个估计还比较粗糙，实际此概率的精确值可由事实上，这个估计还比较粗糙，实际此概率的精确值可由伯努利公式求得为伯努利公式求得为0.99999可见，虽然契贝谢夫不等式可以可见，虽然契贝谢夫不等式可以用来估计概率，但精度不高，对某些分布，有更精确的估计用来估计概率，但精度不高，对某些分布，有更精确的估计但契贝谢夫不等式有它的普适性，它对于任何一阶矩和二阶矩存但契贝谢夫不等式有它的普适性，它对于任何一阶矩和二阶矩存在的随机变量都成立，因此有着广泛的应用在证明大数定理中在的随机变量都成立，因此有着广泛的应用在证明大数定理中契贝谢夫不等式有着重要的作用契贝谢夫不等式有着重要的作用 二、大数定律二
6、、大数定律 在第一章提到过事件发生的频率具有稳定性，即随机事件在第一章提到过事件发生的频率具有稳定性，即随机事件 在一次试验中发生与否虽然是偶然的，但随着试验次数的增加，在一次试验中发生与否虽然是偶然的，但随着试验次数的增加， 随机事件发生的频率逐渐稳定在某个常数随机事件发生的频率逐渐稳定在某个常数p 的附近，大数定律的附近，大数定律 就是这一规律的一个数学描述就是这一规律的一个数学描述 首先介绍依概率收敛的概念首先介绍依概率收敛的概念 设设X1, X2, , Xn, 是一个随机变量序列，是一个随机变量序列，A为一个常数，若为一个常数，若对任意给的对任意给的0，有，有. 1|lim AXPnn
7、则称随机变量序则称随机变量序列列X1, X2, , Xn, 依概率收敛依概率收敛于于A， 记作记作AXPn 依概率收敛的意思依概率收敛的意思是，当是，当n 无限增大时，对任意给的无限增大时，对任意给的0，事件事件|XnA|发生的概率无限地接近发生的概率无限地接近1,21nXXX,)( iiXE lXDi)(), 2 , 1( i1|11|lim11 niiniinnXnP定理定理2(契贝谢夫大数定律契贝谢夫大数定律) 设是相互独立是相互独立l是正常数，且是正常数，且, 0 则对任意的则对任意的有有的随机变量序列，的随机变量序列， niniiiniinXEnXnE1111)(1)1( nlnln
8、XDnXnDniinii 21211)(1)1()1(11|11|1211 niiniiniiXnDnXnP 21 nl 0 ，有，有所以由契贝谢夫不等式，对任意的所以由契贝谢夫不等式，对任意的又因为任何事件的概率都不超过又因为任何事件的概率都不超过1，所以，所以1|11|1112 niiniinXnPnl是相互独立是相互独立证明证明 由定理条件知由定理条件知于是由极限的夹逼准则即得于是由极限的夹逼准则即得 1|11|lim11 niiniinnXnP,21nXXX,)( iXE 2)( iXD)., 2 , 1( i1|1|lim1 niinXnP定理定理3(辛钦大数定律辛钦大数定律) 设设
9、随机变量序列，且随机变量序列，且则对任意的则对任意的, 0 有有是独立同分布的是独立同分布的 辛钦大数定律是契贝谢夫大数定律的特例。该定律表明：随机辛钦大数定律是契贝谢夫大数定律的特例。该定律表明：随机变量序列的算术平均值序列变量序列的算术平均值序列 niiXnX11依概率收敛于其期望值依概率收敛于其期望值 , 亦即亦即X近。因此本定理使得算术平均值法则有了理论依据。近。因此本定理使得算术平均值法则有了理论依据。 在统计上具有稳定性，其取值较为紧密地聚集在其期望附在统计上具有稳定性，其取值较为紧密地聚集在其期望附nXXX,21 niiXn121例例2 设随机变量设随机变量指数分布，证明指数分布
10、，证明.81依概率收敛于依概率收敛于独立同服从参数为独立同服从参数为4的的.161)(,41)( iiXDXE81)()()(22 iiiXEXDXE niiXn121证明证明 由题设知由题设知从而从而所以由辛钦大数定律知所以由辛钦大数定律知.81依概率收敛于依概率收敛于 定理定理4(伯努利大数定律伯努利大数定律)设设nA是是n 次独立试验中事件次独立试验中事件A 发生的发生的次数次数, p(0p1）是一次试验中）是一次试验中A发生的概率，则对任意发生的概率，则对任意0有有1lim pnnPAn221|XP 证明证明 令令Xi表示表示“第第i 次试验中次试验中A发生的次数发生的次数”(i=1,
11、 2, ), 则则Xi服从两点分布，且服从两点分布，且PXi=1=p，PXi=0=1 p，EXi= p，DXi= p(1p) (i=1, 2, ), 那么那么X1, X2, , Xn, 相互独立，且有相互独立，且有 nA= X1X2Xn， niiAXnnn111|1|lim31 niinXnP：由由定定理理1|lim pnnPAn也也就就是是nnA,001. 0 p 伯努利大数定律是辛钦大数定律的特殊情况，它表明在大量伯努利大数定律是辛钦大数定律的特殊情况，它表明在大量重复的独立试验中，事件重复的独立试验中，事件A发生的频率发生的频率依概率收敛于事件依概率收敛于事件A发生的概率发生的概率 p.
12、如果事件如果事件A在每次试验中发生的概率很小，则由伯努利大数定在每次试验中发生的概率很小，则由伯努利大数定律事件律事件A 发生的频率也很小，即在发生的频率也很小，即在 n次试验中事件次试验中事件A 发生的次数发生的次数很少。例如很少。例如则在则在1000次试验中只能希望事件次试验中只能希望事件A 发生发生1次次.该定理以严格的数学形式表述了频率的稳定性。该定理以严格的数学形式表述了频率的稳定性。 在实际当中，概率很小的事件在一次试验中几乎不可能发生。在实际当中，概率很小的事件在一次试验中几乎不可能发生。 因此，常常忽略那些概率很小的事件发生的可能性。这就是数理因此，常常忽略那些概率很小的事件发
13、生的可能性。这就是数理 统计中常用的统计中常用的“小概率原理小概率原理”，至于，至于“小概率小概率”小到什么程度才小到什么程度才能看能看 作实际上不可能发生，要视具体问题的要求和性质而定。例如自作实际上不可能发生，要视具体问题的要求和性质而定。例如自 动车床加工零件出现次品的概率为动车床加工零件出现次品的概率为0.01，若零件的重要性不大且，若零件的重要性不大且 价格低廉，则可以容忍价格低廉，则可以容忍1%的次品率，即可以忽略的次品率，即可以忽略100个零件中出个零件中出 现现1个次品的可能性。但对于飞机或更昂贵的航天器，个次品的可能性。但对于飞机或更昂贵的航天器，1%甚至甚至 1的次品率都是不能容忍的。的次品率都是不能容忍的。
