1、概率论和数理统计尽管两者有密切的联系，但本质概率论和数理统计尽管两者有密切的联系，但本质上是两门不同的课程。上是两门不同的课程。1.概率论是理论基础课，解决理论问题；数理统计是概率论是理论基础课，解决理论问题；数理统计是应用专业课，解决实际问题。应用专业课，解决实际问题。2.概率论更注重逻辑和体系的严密，是一门真正的数概率论更注重逻辑和体系的严密，是一门真正的数学课。数理统计则对同一个具体问题也没有一个最学课。数理统计则对同一个具体问题也没有一个最佳的答案，我们往往需要凭经验选择佳的答案，我们往往需要凭经验选择“较优较优”的方的方法，不是纯粹的数学。法，不是纯粹的数学。3.学习方法也不同。概率
2、论注重逻辑推导，而数理统学习方法也不同。概率论注重逻辑推导，而数理统计则是以解决问题为导向，黑猫白猫，捉住老鼠就计则是以解决问题为导向，黑猫白猫，捉住老鼠就是好猫；以案例为中心。是好猫；以案例为中心。引引 言言 概率论的许多问题中，随机变量的概率分布通常概率论的许多问题中，随机变量的概率分布通常是已知的是已知的，随机变量及其所伴随的概率分布全面描述随机变量及其所伴随的概率分布全面描述了随机现象的统计性规律，而了随机现象的统计性规律，而一切计算与推理一切计算与推理都是都是在在这已知的基础上得出来的。这已知的基础上得出来的。但实际中，情况往往并非如此，一个随机现象所但实际中，情况往往并非如此，一个
3、随机现象所服从的分布可能是完全不知道的，或者知道其分布概服从的分布可能是完全不知道的，或者知道其分布概型，但是其中的某些参数是未知的。型，但是其中的某些参数是未知的。例如：例如：某公路上行驶车辆的速度服从什么某公路上行驶车辆的速度服从什么分布是未知的分布是未知的；电视机的使用寿命服从什么电视机的使用寿命服从什么分布是未知的分布是未知的；产品是否合格服从两点分布，但参数产品是否合格服从两点分布，但参数合格率合格率p是是未知的未知的；数理统计的任务则是数理统计的任务则是以概率论为基础，根据试验以概率论为基础，根据试验所得到的数据所得到的数据，对研究对象的客观统计规律性做出合，对研究对象的客观统计规
4、律性做出合理的推断。理的推断。一言蔽之：数理统计一言蔽之：数理统计方法具有方法具有“用局部推断整体用局部推断整体”的的特征特征 .在数理统计中，不是对所研究的对象全体在数理统计中，不是对所研究的对象全体 (称称为为总体总体)进行观察，而是抽取其中的部分进行观察，而是抽取其中的部分(称为称为样本样本)进行观察获得数据（进行观察获得数据（抽样抽样），并通过这些数据对总体），并通过这些数据对总体进行推断进行推断.实际生活中的问题：实际生活中的问题：长期的生产经验告诉我们，水泥厂成品打长期的生产经验告诉我们，水泥厂成品打包机装袋的重量包机装袋的重量X服从正态分布。服从正态分布。如何得到该正态分布的具体
5、形式，即两参数确切的值？如何得到该正态分布的具体形式，即两参数确切的值？把打包机使用周期内所有的数据全部记录下来，可近似看做一把打包机使用周期内所有的数据全部记录下来，可近似看做一个连续的密度函数个连续的密度函数抽取抽取50包水泥，重量分别记为：包水泥，重量分别记为：X1，X2，X50因为已知：因为已知：EX=，VarX=2考虑：考虑：)(5015021XXXX5012250)(501iiXXS希望和希望和 2比较接近比较接近总体总体样本样本统计量统计量总体、样本和统计量总体、样本和统计量 总体与样本总体与样本 在数理统计中，把研究对象的全体称为在数理统计中，把研究对象的全体称为总体总体，而把
6、，而把组成总体的每个单元称为组成总体的每个单元称为个体个体。总体总体可以认为是一个可以认为是一个随机变量。随机变量。因为我们在抽样之前无法因为我们在抽样之前无法预测个体或样本预测个体或样本的取值，的取值，或者每次抽取的值并不相同，或者每次抽取的值并不相同，所以每个所以每个个体个体也也是一是一个个随机变量随机变量，而而样本样本是是n维维随机向量。随机向量。若干个体构成的集合称为若干个体构成的集合称为样本样本。若样本中包含若样本中包含n个个体，则个个体，则n 称为这个样本的称为这个样本的容量容量.一旦取定一组样本一旦取定一组样本 X1，,Xn ,得到得到 n 个具体个具体的数的数(x1,x2,xn
7、)，称为样本的一次，称为样本的一次观测值观测值，简，简称样本值称样本值.随机抽样方法的基本要求随机抽样方法的基本要求 独立性独立性每次抽样的结果既不影响其余各次抽每次抽样的结果既不影响其余各次抽 样的结果，也不受其它各次抽样结果的影响。样的结果，也不受其它各次抽样结果的影响。满足上述两点要求的样本称为满足上述两点要求的样本称为简单随机样本简单随机样本.获得简单随机样本的抽样方法叫获得简单随机样本的抽样方法叫简单随机抽样简单随机抽样.代表性代表性样本样本()的每个分量的每个分量 与总体与总体 具有具有相同的分布相同的分布。12,nXXXiXX 从简单随机样本的含义可知，从简单随机样本的含义可知，
8、样本样本 是来自总体是来自总体 、与总体、与总体 具有相同分布具有相同分布的，相互独的，相互独立的随机变量立的随机变量.12,nXXXXX 简单随机样本是应用中最常见的情形，今后，简单随机样本是应用中最常见的情形，今后，当说到当说到“X1,X2,Xn是取自某总体的样本是取自某总体的样本”时，若时，若不特别说明，就指简单随机样本不特别说明，就指简单随机样本.若总体的分布函数为若总体的分布函数为F(x)、分布密度函数为、分布密度函数为f(x)。由于。由于简单随机抽样中对每个样本的观测相互独立，故简单简单随机抽样中对每个样本的观测相互独立，故简单随机样本视为随机向量，其联合分布函数为随机样本视为随机
9、向量，其联合分布函数为其简单随机样本的联合分布密度函数为其简单随机样本的联合分布密度函数为=F(x1)F(x2)F(xn)2(,)nF x xx=f(x1)f(x2)f(xn)2(,)nf x xx简单随机抽样的例子简单随机抽样的例子 例如例如：要通过随机抽样了解一批产品的次品率，：要通过随机抽样了解一批产品的次品率，如果每次抽取一件产品观测后放回原来的总量中，则如果每次抽取一件产品观测后放回原来的总量中，则这是一个简单随机抽样。这是一个简单随机抽样。但实际抽样中，往往是不再放回产品，则这不但实际抽样中，往往是不再放回产品，则这不是一个简单随机抽样。但当总量是一个简单随机抽样。但当总量N很大时
10、，很大时，可近似看可近似看成成是简单随机抽样。是简单随机抽样。统计量的定义统计量的定义 定义定义 设（设（）为总体）为总体X的一个样本，的一个样本，为为不含任何未知参数不含任何未知参数的的连续函数连续函数，则，则称称 为样本（为样本（）的一个）的一个统计量统计量。12,nXXX12(,)nf XXX12(,)nf XXX12,nXXX则则 例如例如：设设 是从正态总体是从正态总体 中抽取中抽取的一个样本，其中的一个样本，其中 为已知参数为已知参数,为未知参数，为未知参数，123(,)XXX2(,)N 1233XXX21233XX X123X X X2123XXX是统计量是统计量 不是统计量不是
11、统计量 每个样本都是一个随机变量，而统计量是样每个样本都是一个随机变量，而统计量是样本的函数，本的函数，也是随机变量也是随机变量。注意注意统计量是随机变量！统计量是随机变量！几个最常用的统计量几个最常用的统计量 样本均值：样本均值：设设 是总体是总体 的一个样本，的一个样本，12(,)nXXXX11niiXXn样本方差：样本方差：2211nniiSXXn修正样本方差：修正样本方差：22111nniiSXXn221nnnSSn样本样本k阶原点矩：阶原点矩：11nkkiiXXn样本样本k阶中心矩：阶中心矩：11nkiiXXn用概率方法来探讨一个统计量在推断总体时，往用概率方法来探讨一个统计量在推断
12、总体时，往往要知道统计量的分布或者近似分布。往要知道统计量的分布或者近似分布。注意：注意：统计量的函数仍然是统计量的函数仍然是统计量。比如：统计量。比如：22nnS当当已知时：已知时：*nXnS当当2已知时：已知时：统计量的统计量的数字特征数字特征先来看最简单的统计量：先来看最简单的统计量：样本均值与样本方差样本均值与样本方差22221 ,.（2）nnnE SE Sn 2122(,.,)nXXXXXXS设设总总体体 的均的均值值为为 ，方，方差差为为 ，是是来来自自总总体体 的一的一个个样样本，本，则则样样本均本均值值 和和样样本本方方差差 有有2 Var,;（1）E XXn 111111nn
13、niiiiiE XEXE Xnnn证明证明：（：（1）利用期望的性质及独立性）利用期望的性质及独立性2222111111VarVarVarnnniiiiiXXXnnnn2222112211122111()(2)11121nnniiiiinnniiiiiniiSXXXX XXnnXXXXnnnXXn（2）222211nnnnnEESSnnES222122111nniiiinEXXE XE XnnE S)()(1212XEXVarXEXVarnniii)()(12222nnnn21nn三三个非常有用个非常有用的统计量的连续型的统计量的连续型分布，即分布，即 2分布t 分布F分布 数理统计的三大抽样
14、分布(都是连续型).它们都是它们都是正态分布某个统计量的抽样分布，有正态分布某个统计量的抽样分布，有直接直接的数理统计背景：需要怎样的统计量，就需要研究的数理统计背景：需要怎样的统计量，就需要研究相应的分布。相应的分布。抽样分布抽样分布统计量是样本的函数统计量是样本的函数，是，是一个随机变量。统计量的分一个随机变量。统计量的分布称为布称为抽样分布抽样分布。2分布分布 （读作卡方分布）（读作卡方分布）0,1XN 定义定义 设总体设总体 ，是是 的的一个样本一个样本,则称统计量则称统计量 服从服从自自由度为由度为n的的 分布分布，记作，记作X12,.,nX XX222212nXXX222()n自由
15、度是指独立随机变量的个数自由度是指独立随机变量的个数2()n分布的密度函数为分布的密度函数为 12221,0()22 0,0nxnxexnf xx其中其中Gamma函数函数(x)通过下面积分定义通过下面积分定义10(),0t xxe tdtx 12(1)(),(1)!,(1)1,xxxnn 一般的，若一般的，若X X的分布密度函数为的分布密度函数为则称则称X服从参数为服从参数为0和和0的的分布，记为分布，记为X (,)。不难看出不难看出10()()0 xXxexfx其他2211 ,.2 2niinX其图形随自由度的不同而有所改变其图形随自由度的不同而有所改变.分布密度函数的图形分布密度函数的图
16、形2()n 2 2分布的性质分布的性质u 设设X 2(n)，则，则EX=n，VarX=2n.证明证明：2211=nniiiiE XEXE X211(V ar()V arniiiniiXEXXn只证明期望的性质只证明期望的性质u 2 2分布的可加性分布的可加性221122(),(),XnXn 若若 且且X1,X2相互相互独立，则独立，则21212()XXnn 证明：证明：令令(0,1)2nXnNn 11(0,1)nkkZnNn2kkZX即即由中心极限定理由中心极限定理2 1,2kkE ZVar Z独立同分布，且有独立同分布，且有2(),Xn u 若若 n 则则当当 n 趋于无穷时，近似的有趋于无
17、穷时，近似的有(0,1)2nXnNn 12nnXZZZ 定理定理 设设(X1,X2,Xn)为来自正态总体为来自正态总体 XN(,2)的样本，则的样本，则(1)2,XNn 2222211()1(nniiXnSnX (2)卡方分布的应用卡方分布的应用(3)样本均值样本均值 和样本方差和样本方差 独立独立X2nS 2,.XNn 只证明（只证明（1）：）：为为X1,X2,Xn的线性组合，故仍然的线性组合，故仍然服从正态分布，而服从正态分布，而X1111 nniiiiE XEXE Xnn 221111Var VarVarnniiiiXXXnnn 故故(2)(2)式的自由度为什么是式的自由度为什么是 n
18、n-1-1？从表面上看，从表面上看，21()niiXX 是是n n个正态随机变量个正态随机变量iXX 的平方和，的平方和，但实际上它们不是独立的，但实际上它们不是独立的，它们之间有一种线性约束关系：它们之间有一种线性约束关系：11()0nniiiiXXXnX 这表明，当这个这表明，当这个n n个正态随机变量中有个正态随机变量中有n n-1-1个取值给个取值给定时，剩下的一个的取值就跟着唯一确定了，故在定时，剩下的一个的取值就跟着唯一确定了，故在这这n n项平方和中只有项平方和中只有n n-1-1项是独立的项是独立的.所以所以(2)(2)式的自式的自由度是由度是n n-1-1.(1)10,XNn
19、 定理（定理（抽样分布基本定理抽样分布基本定理）设设(X1,X2,Xn)为来自为来自正态总体正态总体 XN(0,1)的样本，则样本均值的样本，则样本均值 与样本与样本方差方差 Sn2 相互独立；相互独立；X22(1).nnSn (2)特别的，有：特别的，有：t分布分布定义：定义：设随机变量设随机变量 XN(0,1)，Y 2(n)，且，且X与与Y相互独立，则称统计量相互独立，则称统计量/XTY n 服从自由度为服从自由度为 n 的的 t 分布分布，记作记作t 分布的概率密度函数为分布的概率密度函数为T t(n).12212()1,()2nTntf ttnnn 其其形状类似标准正态分布形状类似标准
20、正态分布，关于，关于 x=0 对称对称.当当 n 较大时，较大时，t分布分布近似于近似于标准正态分布标准正态分布.t 分布的数学期望与方差分布的数学期望与方差设设 Tt(n)，则，则Var.(2)2nTnn 0,(1)E Tn 定理定理设设(X1，X2，Xn)为来自正态总体为来自正态总体 XN(，2)的样本，则统计量的样本，则统计量*1 (1)nnXXTnnt nSS 证证故故(0,1),XUNn 2,XNn 由于由于t分布的应用分布的应用由由t分布定义得分布定义得221(1)nnXnXnSnSn 222(1)nnSn *(1)nXnt nS 又由于又由于与与 相相互独立，且互独立，且 X2n
21、S定理定理 设设(X1,X2,Xn1)和和(Y1,Y2,Yn2)分别是来自分别是来自正态总体正态总体 N(1,2)和和 N(2,2)的样本，且它们相互的样本，且它们相互独立，则统计量独立，则统计量121212()(2)11nXYTt nnSnn 其中其中221 12212,2nn Sn SSnn 、21S22S分别为两总体的样本方差分别为两总体的样本方差.证明：证明：221212()(0,1)XYUNnn 221212,X NY Nnn 221212,XY Nnn 因此因此由已知条件可得由已知条件可得故故222211222212(1),(1),nSn Snn 22211222212(2),nS
22、n SVnn 又因为又因为故故22221122212121212121212()2(2)()(2)11nXYUTV nnn Sn SnnnnXYt nnSnn 因此因此F F分布分布服从第一自由度为服从第一自由度为 n1，第二自由度为，第二自由度为 n2 的的F分布分布，定义定义 设随机变量设随机变量 X 2(n1)、Y 2(n2)，且，且相互独立，则称随机变量相互独立，则称随机变量 12X nZY n 记作记作 ZF(n1,n2).显然，若显然，若 Z F(n1,n2)，则，则 1/Z F(n2,n1).F F分布的分布密度函数：分布的分布密度函数：121211221,0()0,0nnnZn
23、Azzyf zny 其中其中112212122.22nnnnAnnn 定理定理 为正态为正态总体总体222,nS222(,)N 121,nS211(,)N 设设 为正态总体为正态总体 的样本的样本容量和样本方差容量和样本方差；的样本容量和样本方差；且两个样本相互独立，则统的样本容量和样本方差；且两个样本相互独立，则统计量计量22*2211221222*221221211211 (1,1)n SnSnn SSF nn 卡方分布的应用卡方分布的应用证明证明由已知条件知由已知条件知22122212221212(1),(1)nSn Snn 且相互独立，且相互独立，由由F F 分布的定义有分布的定义有1
24、2212*2*2111222212212222(1)(1,1)(1)nSnSSF nnn Sn 三大抽样分布的总结三大抽样分布的总结卡方分布卡方分布t分布分布F分布分布正态分布的平方和正态分布的平方和正态分布和卡方分布开根号的商正态分布和卡方分布开根号的商两个卡方分布的商两个卡方分布的商 例例1 设总体设总体 XN(0,1)，X1,X2,Xn为简单随机为简单随机样本，试问下列统计量各服从什么分布？样本，试问下列统计量各服从什么分布？22343211212242131(1);(2);(3).iinniiiinXXXnXXXXX 解解(1)因为因为 XiN(0,1)，i=1,2,n.所以所以X1
25、X2 N(0,2)，12(0,1),2XXN 22342(2),XX 故故223412XXXX 223412()22XXXX t(2).例例1 设总体设总体 XN(0,1)，X1,X2,Xn为简单随机为简单随机样本，试问下列统计量各服从什么分布？样本，试问下列统计量各服从什么分布？续解续解(2)因为因为X1N(0,1)，故故t(n-1).222(1)niiXn 1221niinXX 122(1)niiXXn 22343211212242131(1);(2);(3).iinniiiinXXXnXXXXX 例例1 设总体设总体 XN(0,1)，X1,X2,Xn为简单随机为简单随机样本，试问下列统计
26、量各服从什么分布？样本，试问下列统计量各服从什么分布？续解续解(3)因为因为所以所以F(3,n-3).3221(3),iiX 224(3),niiXn 32124(1)3iiniinXX 321243(3)iiniiXXn 22343211212242131(1);(2);(3).iinniiiinXXXnXXXXX 例例2 若若 Tt(n)，问问T 2服从什么分布？服从什么分布？解解因为因为 Tt(n)，可以认为可以认为,UTV n 其中其中UN(0,1)，V 2(n)，22,UTV n U2 2(1)，221UTV n F(1,n).22nnS当当已已知知*nXnS当当2已已知知Xn当当，
27、2已知已知有关三大分布在区间估计中应用的重要注解有关三大分布在区间估计中应用的重要注解统计量统计量N(0,1)2(n-1)t(n-1)思考：思考：如果参数值未知，情况如何？如果参数值未知，情况如何？分布仍然满足，与参数选取无关分布仍然满足，与参数选取无关在参数的区间估计中有着关键性的应用在参数的区间估计中有着关键性的应用已知：已知：XN(,2)另外几个比较常用的统计量及其分布另外几个比较常用的统计量及其分布顺序统计量：顺序统计量：12(1)(2)(),.,.nnX XXXXX将按从小到大的顺序排列为样本极差：样本极差：()(1)XnnRXX样本中位数：样本中位数：1222+1 n 1+n2nn
28、nXXXX，为奇数，为偶数经验分布函数经验分布函数1212,(),.nnXXXXs xxx xxx 设是总体 的一个样本，用表示中不大于 的随机变量的个数1()()XnFxs xxn 定义经验分布函数为绝大多数统计问题的背景是已经知道分布的类型，绝大多数统计问题的背景是已经知道分布的类型，但是不确定分布的参数。但是有些情况下分布的类但是不确定分布的参数。但是有些情况下分布的类型也不清楚，此时就需要引入经验分布函数。型也不清楚，此时就需要引入经验分布函数。(1)()(1)()0,(),(1,2,1)1,XnkknxxkFxxxxknnxx若若若12(1)(2)(),.()nnnx xxnxxxF
29、 x一般，设是总体的一个容量为 的样本值 将它们按大小次序排列如下：则经验分布函数的观察值为3112()XXFx例 设总体 具有一个样本值,，则经验分布函数的观察值为3 0,12(),123 1,2XxFxxx若若若 设总体设总体X的分布函数为的分布函数为FX，利用伯努利大数，利用伯努利大数定律可以证明，对于任意定律可以证明，对于任意0，有，有lim(|()()|)0,(,)XnXnP FxFxx 故当样本容量故当样本容量 n 足够大时，经验分布函数与足够大时，经验分布函数与总体的分布函数差距很小。因此只要样本容量足总体的分布函数差距很小。因此只要样本容量足够大，就可以近似推断总体的分布。够大
30、，就可以近似推断总体的分布。事事实上，对于任实上，对于任意给定意给定 x，我们可以定义事件，我们可以定义事件 A=随机变量取值随机变量取值 xtx，()lim()0,Xnnn FxPP An()()()tXP AP xxFx而而lim()()0.XnXnP FxFx故有故有则由伯努利大数定律则由伯努利大数定律1lim 0,nnYYPE Yn显然显然1nYY表示观测值小于表示观测值小于x的样本个数的样本个数,EY=P(A)定义随机变量定义随机变量Yi=1如果如果A发生，否则为发生，否则为0命题命题6.3.5 设总体设总体 X 的分布函数为的分布函数为 FX，分布密度，分布密度函数为函数为 fX，
31、则，则Xn按大小顺序排列，第按大小顺序排列，第k个随机变量个随机变量X(k)的密度函数为的密度函数为()1!()()1()()()!(1)!kkn kXXXXnfxFxFxfxnkk(1)1()1()(),nXXXfxnFxfx()1()()().nnXXXfxn Fxfx1,2,.,.kn其中特别地，有顺序统计量的分布顺序统计量的分布证明：证明：()1!()()1()().()!(1)!kkn kXXXXnfxFxFxfxnkk(),kxx xx落在这个区间的概率近似为()11111()()1()()!=()1()(),()!(1)!kkkn kXnnXXXkn kXXXfxxC CFxFxxfxxnFxFxfxxnkk 故有故有
