1、-1-第第 五五 讲讲一、大数定理二、随机变量的收敛性三、中心极限定理-2-一 大数定律 要解决的问题 1.为何能以某事件发生的频率 作为该事件的 概率的估计？2.为何能以样本均值作为总体 期望的估计？3.为何正态分布在概率论中占 有极其重要的地位？4.大样本统计推断的理论基础 是什么？答复大数大数定律定律中心极中心极限定理限定理-3-设设X)(XE为一随机变量为一随机变量,其数学期望其数学期望)(XD和方差和方差都存在，则对于任意都存在，则对于任意,0 有有22()PXE X1)切比雪夫不等式切比雪夫不等式222)(EYEXXYE2)A.L.CauchySchwarz不等式不等式.准备工作-
2、4-设事件设事件 AnnA/在每次试验中出现的概率为在每次试验中出现的概率为 p,在在n次重复独立试验中出现的频率为次重复独立试验中出现的频率为 且且lim|1AnnPpn则贝努里（Bernoulli）大数定律证证 引入 r.v.序列Xk发生次试验第发生次试验第AkAkXk,0,1设,)1(pXPk则pqXDpXEkk)(,)(-5-记,11nkknXnYnpqYDpYEnn)(,)(由 Chebyshev 不等式nXXX,21相互独立，nkkAXn1pnnPA0)(1knkkXEnXP-6-故0limpnnPAn)(nnYEYPnpq21pnnPA0)(1knkkXEnXP-7-在概率的统计
3、定义中,事件 A 发生的频率 “稳定于”事件 A 在一次试验中发生的概率是指：nnA频率与 p 有较大偏差pnnA是小概率事件,因而在 n 足够大时,可以用频率近似代替 p.这种稳定称为依概率稳定.贝努里贝努里(Bernoulli)(Bernoulli)大数定律的意义大数定律的意义nnA-8-大数定律,21nXXX设 r.v.序列11lim0nknnkPXan或11lim1nknnkPXan则0有ka是常数序列，则称服从大数定律nX-9-Chebyshev 大数定律,21nXXX(),1,2,kD XCkn则0有1111lim()0nnkknkkPXE Xnn或1111lim()1nnkknk
4、kPXE Xnn两两不相关的随机变量,又设-10-121()nkkDXn1111()nnkkkkPXE Xnn122()nkkDXnnX两两不相关,且方差有界，则可得到11()()nnkkkkDXD XnC1111()nnkkkkPXE Xnn20,Cnn-11-辛钦大数定律辛钦大数定律,21nXXX,为一列相互独立同分布的为一列相互独立同分布的随机变量，且具有相同的数学期望随机变量，且具有相同的数学期望 设设 niinXnP111|lim 在定理一中在定理一中,去掉方差存在的条件而加上相同去掉方差存在的条件而加上相同分布的条件，则有：分布的条件，则有：注注,21nXXX相互独立的条件可以去掉
5、，代之以0112nnkkXDn（Markov）大数定律-12-如果对于任意的如果对于任意的 有，有，二随机变量的收敛性二随机变量的收敛性定义定义1存在常数存在常数 ,0 a使得对于任意的使得对于任意的 有有 1lim aXPnn设设,21nXXX为一列随机变量，如果为一列随机变量，如果 记为记为 aXPnnX则称则称依概率收敛于依概率收敛于 ,a定义定义2,0 lim1nnPXX设设12,XX 为一列随机变量为一列随机变量,X是随机变量是随机变量记为记为,PnXX n nX则称则称 依概率收敛于依概率收敛于 ,X-13-定义:设 是一列分布函数,如果11(),(),(),F x F x F x
6、 对F(x)每个连续点x，都有lim()()nnF xF x则称分布函数列弱收敛于分布函数F(x)，()nF x()()WnF xF x 记为定义：如果()()WnF xF x 则称nX依分布收敛于X，记为LnXX-14-可以证明：（）若则，PnXX LnXX（）设C为常数，则PLnnXCXC 充分性：()()WnF xF x F(x)是X=C的分布函数，即1,()0,xcF xxc,0 nnnP XcP XcP Xc-15-nnnP XcP XcP Xc1()()nnF cF c 1 1 00,n ：r阶收敛定义：设对随机变量Xn及X，r0为常数，如果,rrnE XE X 且，lim0,rn
7、nE XX则称r阶收敛于X,记作nXrnXX 特别：阶收敛为平均收敛，阶为均方收敛-16-lim1,nnPXX：以概率收敛定义：若存在一随机变量X,使我们称随机序列 以概率为收敛于X,或说几乎处处收敛于X，并记为nX.a snXXlim(.)nnXXa s四种收敛关系：以概率收敛或r-阶收敛 依概率收敛依分布收敛-17-中心极限定理讨论：随机变量序列111()()nniiiiniiXEXDX对应的分布函数序列收敛于标准正态分布函数的定理三、三、中心极限定理中心极限定理-18-的随机变量，且具有数学期望和方差，的随机变量，且具有数学期望和方差，定理定理1 1（独立同分布的中心极限定理）（独立同分
8、布的中心极限定理）,nX,21XX任意实数任意实数 ,x有有其中其中为标准正态分布的分布函数。为标准正态分布的分布函数。)(x 设设为一列相互独立相同分布为一列相互独立相同分布则对于则对于)(x xtdt-e2122 nlim xXDXEXPniiniinii)()(111-19-111()()nniiiinniiXEXYDX nnXnii 1)1,0(N若一随机变量可以表示成数量很多的相互独立相若一随机变量可以表示成数量很多的相互独立相同分布的随机变量的和，则该随机变量可近似服从同分布的随机变量的和，则该随机变量可近似服从正态分布，标准化后就服从标准正态分布。正态分布，标准化后就服从标准正态
9、分布。)1,0(NYn近似nkkX1nYnn),(2nnN近似服从-20-1bXaPnii 对任意对任意 有，有，ba 1 nnbnnXnnaPnii )()(nnannb -21-中心极限定理的意义前面讲过有许多随机现象服从正态分布若联系于此随机现象的随机变量为X，则是由于许多彼此没有什么相依关系、对随机现象谁也不能起突出影响，而均匀地起到微小作用的随机因素共同作用(即这些因素的叠加)的它可被看成为许多相互独立的起微小作用的因kkX素Xk的总和 ，而这个总和服从或近似服从正态分布.结果.-22-对此现象还可举个有趣的例子高尔顿钉板试验 加以说明.303),0(nNn 钉子层数-23-表示某一
10、个小球在第k次碰了钉子后向左或向右落下这一随机现象联系的随机变量，kXkX满足中心极限定理条件，()0,()1kkE XD X1nnkkXX()xnlimnXPxnnP aXbnXabPnnn()()bann16,n 独立投入个小球，01nPX1()(0)0.09874-24-xpnpnpPnn)1(lim 有有)(x 其中其中为标准正态分布的分布函数。为标准正态分布的分布函数。这个定理表明，二项分布的极限分布是正态分布这个定理表明，二项分布的极限分布是正态分布项分布的概率。项分布的概率。n很大时，我们便可以利用定理很大时，我们便可以利用定理 2 来近似计算二来近似计算二当当定理定理 2（德莫
11、佛（德莫佛拉普拉斯）拉普拉斯）),(pnbn,x则对于任意实数则对于任意实数设设 xdt-2t-2e21)(x -25-nP ab对任意对任意 有，有，ba nnpanpbnpPnpqnpqnpq()()bnpanpnpqnpq-26-某单位有某单位有200台电话分机，每台分机有台电话分机，每台分机有5%的时间的时间要使用外线通话。假定每台分机是否使用外线是相互要使用外线通话。假定每台分机是否使用外线是相互独立的，问该单位总机要安装多少条外线，才能以独立的，问该单位总机要安装多少条外线，才能以90%以上的概率保证分机用外线时不等待？以上的概率保证分机用外线时不等待？解解：设有设有X部分机同时使
12、用外线，则有部分机同时使用外线，则有),(pnBX.08.3p)-np(110,np0.05,p200,n 其其中中设有设有N 条外线。由题意有条外线。由题意有9.0 NXP例例-27-由德莫佛由德莫佛-拉普拉斯定理有拉普拉斯定理有.08.310)1(NpnpnpN条条外外线线。即即至至少少要要安安装装取取14,14.94.13 NN.90.0)28.1(,28.13.0810-N NXP )1()1(pnpnpNpnpnpXP查表得查表得故故N应满足条件应满足条件 即即 -28-对随机现象进行观测、试验，以取得有代表性的观测值 对已取得的观测值进行整理、分析,作出推断、决策,从而 找出所研究
13、的对象的规律性数数理理统统计计的的分分类类描述统计学推断统计学第第2 2章章 数理统计的基本概念数理统计的基本概念-29-参数估计(第3章)假设检验(第4章)推断 统计学方差分析(第6章)回归分析(第5章)-30-总体总体 研究对象全体元素组成的集合 所研究的对象的某个(或某些)数量指标的全体,它是一个随机变量(或多维随机变量).记为X.X 的分布函数和数字特征称为总体的分布函数和数字特征.总体和样本 2.1 基本概念基本概念-31-样本样本 从总体中抽取的部分个体.称 为总体 X 的一个容量为n的样本观测值,或称样本的一个实现.),(21nxxx),(21nXXX用 表示,n 为样本容量.样
14、本空间样本空间 样本所有可能取值的集合.个体个体 组成总体的每一个元素 即总体的每个数量指标,可看作随机变量 X 的某个取值.用 表示.iX-32-),(21nXXX则称 为简单随机样本.若总体 X 的样本 满足:),(21nXXXnXXX,21(1)与X 有相同的分布nXXX,21(2)相互独立简单随机样本简单随机样本它可以用与总体独立同分布的它可以用与总体独立同分布的n个相互独立的随机个相互独立的随机变量变量X1,X2,Xn表示。表示。若总体的分布函数为若总体的分布函数为F(x)，则其简单随机样本，则其简单随机样本的联合分布函数为的联合分布函数为F(x1)F(x2)F(xn)-33-设 是
15、取自总体X 的一个样本,为一实值连续函数,),(21nXXX),(21nrrrg),(21nxxxg且不含有未知参数,),(21nXXXg则称随机变量为统计量统计量.),(21nxxx若是一个样本值,称),(21nXXXg的一个样本值为统计量定义定义统计量统计量-34-例例 是未知参数,22,),(NX若 ,已知,则为统计量是一样本,),(21nXXXniiniiXXnSXnX122111,1是统计量,其中),(2NXi则但niiX1221不是统计量.-35-常用的统计量常用的统计量niiXnX11)1(为样本均值样本均值niiXXnS12211)2(为修正样本方差样本方差niiXXnS121
16、1为修正样本标准差样本标准差),(21nXXX设是来自总体 X 的容量为 n 的样本,称统计量-36-nikikXnA11)3(为样本的k 阶原点矩原点矩nikikXXnB11)4(为样本的k 阶中心矩中心矩例如21222111nniiSXXnSnnBXA-37-注注 样本方差样本方差 与样本二阶中心矩与样本二阶中心矩 的不同的不同2nS2S关系式关系式221nSnnS1）212)(11 niiXXnS)2(122 niiiXXXX niniiiXnXXX12122 niiXnXXnX1222 niiXnX122-38-常见统计量的性质：常见统计量的性质：)()()1(XEXE)1()(1 n
17、iiXnEXE)(11 niiXEn)(iXE)(XE nXDXD)()()2()1()(1 niiXnDXD)(112 niiXDn)(12iXnDn nXDi)(-39-)(11122 niiXnXnE)(2SE)()(1122XnEXnEni )()()()(122XEXDXEXDnnii )()(1nXDXDnnii 2()iD X2）221)(nnSEn22)(SE-40-顺序统计量与极差顺序统计量与极差设),(21nXXX为样本,),(21nxxx为样本值,且*2*1nxxx当),(21nXXX取值为),(21nxxx时,定义 r.v.nkxXkk,2,1,*)(则称统计量)()2
18、()1(,nXXX为顺序统计量顺序统计量.其中,max,min1)(1)1(knknknkXXXX称)1()(XXDnn为极差极差-41-1 1）样本的经验分布函数）样本的经验分布函数样本值样本值Rxxxxn，对,21)(xm 样本值小于样本值小于x x的个数，作的个数，作nxmxFn)()(样本的经验分布函数样本的经验分布函数1*1*0,*()/,*1,2,11,nkknxxF xm nxxxknxx非降，左连续；非降，左连续；,1)(,0)(nnFF-42-若子样为若子样为n n维维r.vr.v，那么对于每一样本值，那么对于每一样本值nxxx,21就可作一个经验分布函数，故就可作一个经验分
19、布函数，故)(xFn是随机变量是随机变量-n-n次独立重复试验中，事件次独立重复试验中，事件Xx发生的频率。发生的频率。()F xXx表示事件的概率由大数定律，由大数定律，0对1)()(limxFxFPnn)(xFn()()PnF xF x-43-这就是我们可以由样本推断总体的基本理论依据这就是我们可以由样本推断总体的基本理论依据.格列汶科进一步证明了：当格列汶科进一步证明了：当n n时，时，F Fn n(x x)以概率以概率1 1关于关于x x一致收敛于一致收敛于F F(x x)，即，即这就是著名的这就是著名的格列汶科定理格列汶科定理.10|)()(|supxFxFLimPnxn定理告诉我们
20、，当样本容量足够大时，对所有的定理告诉我们，当样本容量足够大时，对所有的x x,F Fn n(x x)与与F F(x x)之差的绝对值都很小，这件事发生之差的绝对值都很小，这件事发生的概率为的概率为1.1.-44-Xkp1x2x1p2pkxkp直方图离散型表示在表示在n n次试验中出现的次数，次试验中出现的次数，设设iviXx=1,nXXL为n次独立重复样本则则(,)ivb n pPiivpnn揪+-45-定义函数：当1,),0,1,1iixa aim+=-L()inmvpxba n=-称为在区间a,b)的图形为a,b)的频率直方图()npx-46-47-48-2/51.87(1)mn-49-
21、.抽样分布抽样分布定理：()ijn nAa1111211221222212nnnnnnnnaaaXaaaXaaaXAX则11(,),(,),nnXXX为两随机向量，且()EA EX()DA DX A-50-1111211221222212nnnnnnnnaaaXaaaXEEEaaaX11211njjjnjjjnnjjja Xa XEa X11211()()()njjjnjjjnnjjja E Xa E Xa E X12nEXEXAEX()A EX-51-()()DEEE()()E AXAEXAXAEX()()E A XEXXEXA()()AE XEXXEXA()A DX A特别：若相互独立且服
22、从相互独立且服从nXXX,21),(2 N那么也是正态随机变量12,n 若为正交矩阵，那么：随机变量0,A也是相互独立且均值为的正态随机变量12,n-52-几个重要的抽样分布定理几个重要的抽样分布定理取自正态总体取自正态总体),(2 N的样本的样本,则有则有),()12nNX )1,0()2NnX 定理定理 1 (1 (样本均值的分布样本均值的分布)设设X1,X2,Xn 是是-53-定理定理2.(样本方差的分布样本方差的分布)1()1()1(222 nSn 设设 X1,X2,Xn 是取自正态总体是取自正态总体样本样本,2SX 和和分别为样本均值和修正样本方差分别为样本均值和修正样本方差则有则有
23、(2)X),(2 N的的和和 相互独立相互独立。2S证明：设(0,1),1,2,iXNinAX2122212111nnnnnnnnaaaAaaa-54-111niiXninX11,2,jjjnna Xa Xjn221nniinSXnX21nTii 而TTTX A ATX X21niiX1inX2222112nnniiiinS2(1)n-55-2(,),1,2,iXNin 2221221()()ninniiiXXnSXX21()nii222(1)nnSn-56-定理定理3(3(与样本均值和样本方差有关的一个分布与样本均值和样本方差有关的一个分布)设设 X1,X2,X n 是取自正态总体是取自正态
24、总体),(2 N2SX 和和分别为样本均值和样本修正方差分别为样本均值和样本修正方差.则有则有)1(ntnSX 的样本的样本,1/)1(/22 nSnnX 证明证明:)1()1(222 nSn )1,0(NnX )1(nt nSX/-57-(II)两个正态总体两个正态总体相互独立的简单随机样本.niiniiXXnSXnX12211)(111令mjjmjjYYmSYmY12221)(111设nXXX,21与mYYY,21分别是来),(211NX自正态总体),(222NY与的-58-则)1()1()1()1(2222222121mSmnSn若21则)1,1(2221 mnFSS 22222121
25、SS(1,1)F nm2121(1)nS2222(1)mS(1)m(1)n-59-则),(1),(1221211mNYmYnNXnXmjjnii)1,0()()(2221NmnYX),(2221mnNYX相互独立的简单随机样本.设nXXX,21与mYYY,21分别是来21(,)XN 自正态总体22(,)YN 与的-60-)1()1()1()1(22222221mSmnSn222221)1()1(SmSn)2(2mnYX 与222221)1()1(SmSn相互独立-61-2)1()1()()(2222212221mnSmSnmnYX2)1()1(11)()(222121mnSmSnmnYX)2(mnt
