数理统计基础知识课件.ppt

1、12赵选民等，数理统计，科学出版社，2002茆诗松等，概率论与数理统计教程，高等教育出版社，2004中山大学数学系，概率论与数理统计，高等教育出版社，2001吴翊等，应用数理统计，国防科技大学出版社，1995参参 考考 书书 目目3 数理统计与概率论是两个有密切联系的学科，它们都以随机现象的统计规律为研究对象。但在研究问题的方法上有很大区别：但在研究问题的方法上有很大区别：概率论概率论 已知随机变量服从某分布,寻求分布的性质、数字特征、及其应用；数理统计数理统计 通过对实验数据的统计分析,寻找所服从的分布和数字特征,从而推断整体的规律性。数理统计的核心问题数理统计的核心问题由样本推断总体由样本

2、推断总体 45概括为两大类 用有效有效的方法去收集数据。抽样理论和试验设计 有效有效地使用数据。中心内容统计推断 它包括参数估计，假设检验，回归分析，方差分析，多元统计分析等等。6 上述有效性有两个含义：可以建立一个在数学上便于处理的模型来描述所得的数据，数据中要包含尽可能多的与所研究的问题有关的信息。7由于统计推断中使用的仅仅是部分数据，且带有随机性，故所得结论只能做到尽可能而非绝对的精确可靠，而结论的正确性程度显然可以用概率来度量，因此概率论是数理统计的基础。统计方法的具体使用并不需要很高深的数学知识，但不具备较多较深的数学知识，这些方法的理论依据就说不清楚。本课主要介绍数理统计方法，也给

3、出一些必要的数学推导，但不追求其严密性和完整性。8数理统计方法的应用数理统计方法的应用 几乎在人类活动的一切领域中都能够不同程度地发现数理统计方法的应用。n实验数据的处理离不开数理统计方法；n在工农业生产中，最佳生产工艺的安排，最佳配方的确定，优良品种的对比试验，产品质量的控制管理，产品验收方案的制定，电子元器件寿命的计算等都要用到数理统计方法。9在医药卫生领域，流行病的研究、新药的药效试验以及某种疾病的发病率与其它因素的关系的研究都是数理统计方法的用武之地。在生物遗传学、气象预报、地震研究、地质探矿等方面的研究中，数理统计方法是必备工具之一。数理统计方法在社会科学方面的应用也愈来愈广泛，教育

4、学，人口学，社会保险业，各种社会问题的抽样调查，市场预测，民意测验等都有数理统计方法涉足。总之，只要安排试验和处理数据，就可以用数理统计方法。10数理统计学发展简史数理统计学发展简史统计学的起源：统计学起源于古代，早在公元前3050年的古埃及就为建造金字塔进行过全国国力统计。到了16世纪，西欧各国政府对收集公民有关资料发生兴趣。Statistics（统计学）源于State.数理统计的正式诞生。在数学家建立了概率论后，才奠定了数理统计发展的理论基础。一般认为，它诞生于19世纪后期。1119世纪后期到20世纪四十年代。在这时期，英国人高尔顿、皮尔逊、费歇等作了大量开创性工作。尤其，费歇于1922年

5、的一篇论文是数理统计学建立过程的一个里程碑，该文主要观点至今仍基本有效。到了四十年代，数理统计学已发展成为一个成熟的数学分支成熟的数学分支，它的重要标志是瑞典统计学家H.Cramer于1949年的著作Mathematical Methods of Statistics12二战后。这时期的一个突出特点是计算机的发明和使用。它使人们能够处理大量的数据及其运算，把数理统计的研究引入到宏观世界和微观世界，又出现了一些新的分支。最后，特别提一下我国的许宝禄教授在极限理论、马氏过程、多元分析、正交设计、过程设计和判别函数等许多方面都有突出的贡献，他的许多研究成果都达到了世界先进水平。13141516条件数

6、学期望n定义定义 设 X是一个r.v.，且EX存在.则记|(|)(|)(|)(|)(iiiX YE X Yyx P Xx YyE X Yyxfx y dx离散情形）连续情形）称E(X|Y=y)为已知Y=y时X的条件期望.n定义定义 设g(y)=E(X|Y=y)，随机变量g(Y)就可记作E(X|Y),且称为已知Y时X的条件数学期望。17条件数学期望的性质n如果 X 和 Y 独立,且EX存在,则 E(X|Y)=EXnE(h(Y)|Y)=h(Y)nE(q(X,Y)|Y=y)=E(q(X,y)|Y=y)nE(E(X|Y)=E(X)重期望定理18特征函数n定义定义 称随机变量eitX的数学期望(t)=E

7、eitX为X的特征函数。n随机变量的特征函数(t)是实变量t的复值函数，总是存在的,且与随机变量一一对应。n当X为连续型时，n当X为离散型时，-()()itxtef x dx()=itxkkkkte ppP Xx，19特征函数基本性质(0)1,()(),|()|(0)1;,()()()45ibtYXXtttYaXb a bYteattX(1)(2)特征函数在(-,)上一致连续；(3)若是常数，则 的特征函数,其中是 的特征函数；（）两个相互独立的随机变量之和的特征函数等于各个特征函数之积；（）两个分布函数相等当且仅当它们所对应的特征函数相等；20()(-)()(),1()-()lim();27

8、()()(0)1;8()()()(0),()iatibtTTTkkkkF xa beeF bF at dtitttXnXtktE Xikn(6)在的连续点上，有 （）函数为特征函数的充要条件是：非负定，连续且（）设随机变量 的 阶矩存在，则 的特征函数的 阶导数存在，且 21几个常见随机变量的特征函数12(1)();(2)(,)()();sin(3)-,();(4)()(1);(5)(,),ititnXtqpeXB n ptqpeatXU a atatXittXN 设 服从两点分布，则其特征函数为 设 服从二项分布，则其特征函数为 设则其特征函数为 设 服从参数为 的指数分布，则其特征函数为

9、设则其特征函数为2 212();i ttte22 非降的右连续函数；3 多元随机向量 一、多元随机的分布函数一、多元随机的分布函数1、多元联合分布函数随机向量 的概率分布函数定义为12(,)mXXXX121122(,)(,)mmmF x xxP Xx XxXx 2、联合分布函数的性质121122(,)(,)mmmF x xxP Xx XxXx23 分布函数的取值范围为0，1，即 120(,)1mF x xx 分布函数当变量取值为无穷大时，函数值收敛到1，即(,)1F 24二、两个常用的离散多元分布二、两个常用的离散多元分布 1 1、多项分布、多项分布12(,)mXXXX若有如下分布111221

10、12!(,)!mkkmmmmnP Xk XkXkppk kk，其中10 ipmi,2,1 nkkkm 21121 mppp 则称 服从多项分布。12(,)mXXXX25 2 2、多元超几何分布、多元超几何分布12(,)mXXXX若有如下分布111122(,)mmmmNNkkP Xk XkXkNn),min(,1,0iiNnk 则 服从多元超几何分布。mi,2,1 nkkkm 21NNNNm 2112(,)mXXXX26 三、多元随机变量的概率密度函数三、多元随机变量的概率密度函数1、定义随机向量 的联合分布函数可以表示为12(,)nXXXX1121212(,)(,)nxxnnnF x xxf

11、t tt dt dtdt则称 为连续型随机向量。称为的多元联合概率密度函数。12(,)nf x xx12(,)nXXXX27若 在点 连续，则12(,)nf x xx12(,)nx xx121212(,)(,)nnnnf x xxF x xxx xx 且有11212(,)1nnf x xx dx dxdx28 四、边际分布四、边际分布 设有连续随机向量 12(,)nXXXX不妨设 是 的前q个分量组成。则 的分布为(1)12(,)qXXXX12(,)nXXXX(1)12(,)qXXXX(1)121122(,)(,)qqqFx xxP Xx XxXx11221(,)qqqnP Xx XxXxXX

12、 11212(,)qxxnnf x xx dx dxdx 29112112(,),qxxnqnqf x xx dxdx dx dxdx 所以 的边际密度为(1)12(,)qXXXX(1)1121(,)(,)qnqnfxxf x xx dxdx例 有概率密度函数12(,)XXX)sinsin1(21),(212212221xxexxfxx 试分别求 的边际密度。12,XX11122()(,)f xf x x dx3022122111221()(1 sinsin)2xxf xexx dx22122212211(1 sinsin)22xxeexx dx2223121222222122111sinsi

13、n222xxxxeedxexex dx22121xe1x222221()2xfxe同理1x31五、五、条件分布条件分布 1、问题的引入 若A和B是任意两个事件，且 ，则称为在B事件发生的条件下，事件A发生的条件概率。0)(BP(|)()/()P A BP ABP B考虑随机向量 ，其中 表示人的身高（单位：米），表示人的体重（单位：公斤），在身高为1.9米的人群中，体重 的分布就再也不是原来的分布了。而是在 的条件分布。12(,)XXX1X2X11.90X 2X32 2、条件分布 连续随机向量 不妨设 是 的q个分量组成。是余下的n-q个分量组成。(1)12(,)qXXXX12(,)nXXXX

14、(2)12(,)qqnXXXX1211(2)1(,)(,|,)(,)nqqnqnf x xxf xxxxfxx是 条件下，的条件概率密度函数。(2)12(,)qqnXXXX(1)12(,)qXXXX33 例 设X=(X1,X2)有概率密度函数其它010,10)1(56),(21212121xxxxxxxf试求条件密度函数 f(x1|x2)和 f(x2|x1)。)(),()|(112112xfxxfxxf)(),()|(222121xfxxfxxf因为34所以先求 121111220121122022116()(41)56(41)512655fxxx xdxxx xdxxx22262()55fx

15、x同理352112121221222221216(41)(,)415(|)(01)126()2155xx xf x xx xf xxxfxxxx221121211212122126(41)(,)3(41)5(|)(01)62()3155xx xf x xxx xf xxxfxxx所以当 时,201x当 时,101x36 3、设 是n个随机向量，若 对一切 成立，则 相互独立。六、六、独立性独立性 1、定义 设 和 是两个随机向量，若 对一切 、成立，则称 和 相互独立。Y(,)()()FFFXYx yxyXxyXY 2、设 和 是两个连续随机向量，和 相互独立，当且仅当 对一切 、成立。)()

16、|(xyxxffXYXYxy12,nX XX)()()(),(21mmmFFFFxxxxxx2121nm 12,nx xx12,nX XX37 例 设X=(X1，X2，X3)的联合概率密度函数为123()1231230,0,0(,)0 xxxexxxf x xx其它试证 X1，X2，X3相互独立。123112321233()11231002()2223200()3323300()(0)()(0)()(0)xxxxxxxxxxxxf xedx dxexfxedx dxexfxedx dxex 384 随机矩阵 一、数学期望一、数学期望1、定义111212122212ppnnnpXXXXXXXXX

17、X是有随机变量构成的随机矩阵，定义X的数学期望为111212122212()()()()()()()()()()ppnnnpE XE XE XE XE XE XEE XE XE XX39 特别当时 ，便可得到随机向量 的数学期望为1p 12(,)nXXXX12()(),(),()nEE XE XE XX 2、性质 1）设a为常数，则 ；)()(XXaEaE2）设 分别为常数矩阵，则CBA,CBXACAXB)()(EE 3）设 为n个同阶矩阵，则12,nX XX11()nnEEEE22XXXXXX40二、协方差矩阵二、协方差矩阵 1、定义：设 和 分别为p维和q维随机向量，则其协方差矩阵为12(

18、,)pXXXX12(,)qY YY Y11221122()()()()()()qqppXE XXE XYE YYE YYE YXE XE41111212122212cov(,)cov(,)cov(,)cov(,)cov(,)cov(,)cov(,)cov(,)cov(,)cov(,)qqpppqX YX YX YX YX YX YXYXYXYX Y12(,)pXXXX的协方差矩阵为1121212212var()cov(,)cov(,)cov(,)var()cov(,)var()cov(,)cov(,)var()pppppXXXXXXXXXXXXXXX X422、性质 1）若 和 相互独立。则1

19、2(,)pXXXX12(,)qY YY Y111212122212cov(,)cov(,)cov(,)cov(,)cov(,)cov(,)cov(,)cov(,)cov(,)qqpppqX YX YX YX YX YX YXYXYXY043 若 的分量相互独立,则协方差矩阵，除主对角线上的元素外均为零，即12var()000var()0var()00var()pXXX X12(,)pXXXX442）随机向量X的协方差矩阵 是非负定矩阵。证：设a为任意与X有相同维数的常数向量，则2()()()()()0EEEa aaX Xaa X X aa X 3）设A是常数矩阵，b为常数向量，则var()()

20、()()()()()EEAXbAXbAbAXbAbAX XAAA45 4)若 和 分别是p和q维随机向量，A和B为常数矩阵，则证明 cov(,)cov(,)AX BYAX Y Bcov(,)()()EEEAX BYAXAXBYBY()()EEEAXXYYB 5）若 是p个不全为零的常数，是相互独立的p维随机向量，则11222221122var()var()var()var()nnnnk Xk Xk XkXkXkX12(,)pXXXX12(,)qY YY Y12(,)pk kk12(,)pXXX46 三、相关系数矩阵三、相关系数矩阵 若 和 分别是p和q维随机向量，则其相关系数矩阵为111212

21、122212(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)qqpppqX YX YX YX YX YX YXYXYXYX Y(,)X Y0若，两随机向量互不相关。12(,)pXXXX12(,)qY YY Y47 5 随机向量的变换 一、一元随机变量的变换一、一元随机变量的变换 设X具有概率密度函数fx(x)，函数y=(x)严格单调，其反函数x=(y)有连续导数，则Y=(X)的概率密度函数为()()|()|YXfyfyy 其中y的取值范围与x的取值范围相对应。481ln(0)YX求的密度函数。yeyx)(解y的取值范围为(0,),则()()|()|()|()|1|()|YXyyyX

22、yfyfyyfeeee 例例 设随机变量X服从均匀分布U(0,1),即密度函数 101()0Xxfx其他49 二、多元随机向量的变换二、多元随机向量的变换 若 有密度函数 ，有函数组),(21piixxxypi,2,1其逆变换存在),(21pjjyyyxpj,2,1则 的概率密度函数为12(,)pXXXX12(,)pf x xx12(,)qY YY Y1211212(,)(,),(,)|ppppg y yyfy yyy yy J50ppppppppyxyxyxyxyxyxyxyxyxyyyxxx2122212121112121),(),(J 其中特别：若 ，其中 为 阶可逆常数矩阵，为 维常数

23、向量，则YAXbApbp1|)(AAyxJ151分布族分布族多元正态分布族指数分布族52若连续型 r.v X具有概率密度其中 均为正常数,分别称为形状参数和尺度参数。,的 分布,记作1,0()()0,0 xxexf xx则称 X 服从参数为,),(X一、分布族这里 是含参变量的广义积分。10()tte dt53函数具有以下性质:)21(,1)1()()1(0!)1(nn(3)对自然数n,(1)(2)n分布在水文统计、最大风速或最大风压的概率计算中经常要用到.54当 时,分布则是统计学中十分重要的 分布,其概率密度为当 时,分布即是参数为的指数分布;0,00,)2(21)(2122yyeynyf

24、ynn12/1,2/n)(2n不少常见的重要分布是分布的特殊情形.55性质1 设 X(,)，则 ，它的数学期望与方差分别为：E(X)=/,D(X)=/2.性质2 设 X (,)，则它的特征函数为：性质3 设 Xi (i,)，i=1,2,n，且 Xi相互独立，则X1X2+Xn (1+2+n,)()()kkkEX()1itt56定义定义 若连续型 r.v X具有概率密度11()(1),01()()(,)0,ababxxxabf x a b其它其中 均为正常数。,a b的 分布,记作则称 X 服从参数为,a b(,)XBe a b二、二、分布族分布族57性质2 设 且相互独立，则（提示：作变量变换

25、，求出（U，V）的联合密度函数。）性质1 设XBe(a,b)，则它的数学期望与方差分别为：E(X)=a/(a+b),D(X)=ab/(a+a)2(a+b+1).()()()()kakabEXaabk(,1),(,1)XaXb(,)XUBe a bXYXUXYVXY58二维正态随机变量的性质221212(,)(,;)X YN ),(211NX,),(222NY211,DXEX 21),cov(YXbYkXkZ21bkkEZ22112121222221212kkkkDZ0设 则 (1)222,DYEY(2)(3)服从正态分布,(4)X与Y独立 X与Y不相关 59如果p维随机向量(随机变量)多元正态

26、分布族12(,)pXXXX定义定义(联合)概率密度函数为11212211)(,)exp()()2(2)|ppff x xx(xx VxV则称随机向量X为p维正态随机向量正态随机向量，其中称为均值向量，V为协方差矩阵(协差阵)，且0.V60(3)设 ，A是 常数矩阵，b是m 维向量，若令Y=AX+b，则多元正态分布的性质（1）p维正态分布由其均值向量和协方差阵唯一确定，且特征函数为：（2）对于任一p维向量 及p阶非负定矩阵V，必存在p维正态随机向量(,)pNX Vmp(,).mNYAb AVA(,)pXN V121()(,)exp2pt ttitt t Vt61(5)设 为多维正态随机向量，则X

27、1与X2互不相关的充要条件是X1与X2相互独立。12(,)XXX（6）若 ，且 ，则(,)pNX V|0V12()()().ZpX VX（4）X为p 维正态随机向量的充要条件为对任一p 维向量c，是一维正态随机变量。c X62（8）设 ，则存在 矩阵（7）n个独立的p元正态随机向量的和仍服从p元正态分布,即若 相互独立,且12,.,nX XX(,)(1,2,)kpkkNknXV则111(,)nnnkpkkkkkNYXV(,)pNX V使得ppB()BBVXBY其中 。(,)ppNY0 I.0 V63指数分布族1():(;)()exp()()()kiiiF xf xaQT xh x定义：如果分布族具有形式 则称它为指数型分布族。对于离散型分布族，如果概率分布具有上述所定义的形式，也同样称为指数型分布族。