参数的点估计-课件2.ppt

1、第七章第七章:参数估计参数估计 统计推断的基本问题可以分为两类，一类是估统计推断的基本问题可以分为两类，一类是估计问题，另一类是假设检验问题，本章讨论总体参计问题，另一类是假设检验问题，本章讨论总体参数的点估计和区间估计。数的点估计和区间估计。7.1 7.1 参数的点估计参数的点估计 参数估计就是从样本出发，去构造一个统计量，参数估计就是从样本出发，去构造一个统计量，作为总体中未知参数的一个估计量。作为总体中未知参数的一个估计量。设总体设总体X的分布函数的形式已知，但它的一个或的分布函数的形式已知，但它的一个或多个参数未知，借助于总体多个参数未知，借助于总体X的一个样本来估计总体的一个样本来估

2、计总体中未知参数值的问题称为参数的点估计问题。中未知参数值的问题称为参数的点估计问题。.,0,试估计参数试估计参数设有以下的样本值设有以下的样本值为未知为未知参数参数数的泊松分布数的泊松分布为参为参假设它服从以假设它服从以是一个随机变量是一个随机变量次数次数一天中发生着火现象的一天中发生着火现象的在某炸药制造厂在某炸药制造厂 X引例引例250126225490756543210 knkk火的天数火的天数次着次着发生发生着火次数着火次数解解(),Xp 因因为为).(XE 所以所以用样本均值来估计总体的均值用样本均值来估计总体的均值 E(X).6060kkkknknx)16256422354290

3、1750(2501 .22.1.22.1)(的估计为的估计为故故 XE点估计问题的一般提法点估计问题的一般提法1212(,),.,.nnXF xXXXXx xx 设设总总体体的的分分布布函函数数的的形形式式为为已已知知是是待待估估参参数数是是的的一一个个样样本本为为相相应应的的一一个个样样本本值值.),(),(2121 来估计未知参数来估计未知参数用它的观察值用它的观察值一个适当的统计量一个适当的统计量点估计问题就是要构造点估计问题就是要构造nnxxxXXX.),(21的估计量的估计量称为称为 nXXX.),(21的估计值的估计值称为称为 nxxx.,简记为简记为通称估计通称估计 矩估计是基于

4、矩估计是基于“替换替换”思想建立起来的一种参思想建立起来的一种参数估计方法数估计方法。最早由英国统计学家。最早由英国统计学家 K.皮尔逊皮尔逊 提出。提出。7.1.1 矩估计矩估计其思想是其思想是:用同阶、同类的样本矩来估计总体矩。用同阶、同类的样本矩来估计总体矩。在引例中，我们以样本均值作为总体均值的在引例中，我们以样本均值作为总体均值的估计量，也就是以样本的一阶矩作为总体一阶矩估计量，也就是以样本的一阶矩作为总体一阶矩的估计量，这种做法实际上就是矩估计法。的估计量，这种做法实际上就是矩估计法。矩估计就是用相应的样本矩去估计总体矩。矩估计就是用相应的样本矩去估计总体矩。kkE(X),总体的总

5、体的k阶原点矩为阶原点矩为11 ,nkkiiAXn 样本的样本的k阶原点矩为阶原点矩为总体的总体的k阶中心矩为阶中心矩为(),kkE X 样本的样本的k阶中心矩为阶中心矩为11,nkkiiBXXn （）设总体设总体 X 的分布函数中含的分布函数中含 k 个未知参数：个未知参数：.,21k步骤一：步骤一：记总体记总体 X 的的 m 阶原点矩阶原点矩 E(Xm)为为 m ,m =1,2,1,2,k.am(1,2,k),m=1,2,k.一般地一般地,m(m=1,2,K)是总体分布中参是总体分布中参数或参数向量数或参数向量(1,2,k)的函数。的函数。故故,m(m=1,2,k)应记成应记成:步骤二：步

6、骤二：算出样本的算出样本的 m 阶原点矩阶原点矩.,2,1 ,11kmXnAnimim步骤三：步骤三：令令 （1 1）式是包含）式是包含k个未知参数个未知参数 1 1,2 2,k k 的联的联立方程组。立方程组。12(,),(1,2,)(1)mkmaAmk 步骤四：步骤四：解方程组解方程组(1),(1),并记其解为并记其解为.,2,1),(21kmXXXnmm，),(),(2121的的矩矩估估计计。就就是是则则kk 这种参数估计法称为参数的矩估计法，简称这种参数估计法称为参数的矩估计法，简称矩法。矩法。这种估计量称为矩估计量。矩估计量的观察这种估计量称为矩估计量。矩估计量的观察值称为矩估计值值

7、称为矩估计值.解：解：先求总体的一阶矩，即期望先求总体的一阶矩，即期望xxxXE d )1()(10.21 d )1(101xx例例1 1：设总体设总体 X 的概率密度为的概率密度为.,0,10 ,)1()(其他其他xxxf的的矩矩估估计计。求求为为未未知知参参数数。其其中中 1 由矩法，令由矩法，令21 X样本矩样本矩总体矩总体矩解得解得XX112为为 的矩估计。的矩估计。注意：要在参数上边加上注意：要在参数上边加上“”，表示参数的估计。它是统计量。表示参数的估计。它是统计量。解解:先求总体的均值和先求总体的均值和 2 阶原点矩。阶原点矩。例例2：设设 X1,X2,Xn 是取自总体是取自总体

8、 X 的简单样本的简单样本,X 有概率密度函数有概率密度函数的的矩矩估估计计。求求。为为未未知知参参数数，其其中中其其他他 ,0 ,.,0 ,1)()(xexfxxexXEx d 1)()(令令y=(=(x-)/)/yeyy d )(0.xexXEx d 1)()(22令令y=(=(x-)/)/,)(22 d )2(d )(2222022202yeyyyeyyy用样本矩用样本矩估计总体矩估计总体矩的的矩矩估估计计。为为参参数数,niiXnX1222.1)(,令令得.)(1,)(111212122niiniiniiXXnXXXnXnXn列出方程组列出方程组:.)(),(,)(),(2222221

9、XEaXEa.1),(,),(122221niiXnaXaniiXnX1222.1,即即例例3：设总体设总体X的均值为的均值为，方差为，方差为 2，求求 和和 2 的的矩估计。矩估计。解：解：由由 故，均值,方差2的矩估计为.)(1,212XXnXniiniiXXnX122 )1,（.12Snn即求解，得求解，得如：如：正态总体正态总体N(,2)中中 和和 2 2的矩估计为的矩估计为.)1,122niiXXnX（又如：又如：若总体若总体 X Ua,b，求，求a,b的矩估计。的矩估计。解：解：.12)()(,2)(2abXVarbaXE.12)(,2 22abXba得解上述方程组，得到解上述方程

10、组，得到 a,b 的矩估计的矩估计:(课本课本P108例例7.3).3,3XbXa.)112niiXXn（其中 矩估计的矩估计的优点是：优点是：简单易行简单易行,不需要事不需要事先知道总体是什么分布。先知道总体是什么分布。缺点是：缺点是：当总体的分布类型已知时，未当总体的分布类型已知时，未充分利用分布所提供的信息充分利用分布所提供的信息.此外，一般情形此外，一般情形下，矩估计不具有唯一性下，矩估计不具有唯一性.比如比如Xp()，的矩估计不唯一。的矩估计不唯一。7.1.2 极大似然估计极大似然估计1.极大似然估计的基本思想极大似然估计的基本思想 引例：袋中有引例：袋中有4只球，只有白颜色和黑颜色

11、两只球，只有白颜色和黑颜色两种现用放回方式取球种现用放回方式取球3次，每次任取次，每次任取1只球，记取只球，记取得的得的3只球中白颜色球数为只球中白颜色球数为X显然显然XB(3，/4），），其中其中 为袋中的白球数，显然为袋中的白球数，显然 的取值范围为的取值范围为=1，2，3，如果试验结果是取到了，如果试验结果是取到了2只白球，应如何估只白球，应如何估计参数计参数？（课本（课本P109例例7.6)解：对于解：对于 的不同值，事件的不同值，事件X=2有不同的概率：有不同的概率：223()2(/4)(1/4)LP XC针对针对 中的不同中的不同 值，分别计算值，分别计算L()的值，列成下表：的值

12、，列成下表：L()9/6424/64 27/64由于事件由于事件X=2已经发生，自然认为事件已经发生，自然认为事件X=2发生发生的概率最大的概率最大 从表中看到，使事件从表中看到，使事件X=2出现概率最大的出现概率最大的 值为值为3，可把可把3作为参数作为参数 的估计值的估计值 综上所述，设总体分布中未知参数综上所述，设总体分布中未知参数 的值可能的值可能是有限个或无穷多个，它们的集合称为参数空间，是有限个或无穷多个，它们的集合称为参数空间，记为记为 极大似然估计的基本思想就是：若事件极大似然估计的基本思想就是：若事件A发生的发生的概率依赖于未知参数概率依赖于未知参数 ，如果观察到事件，如果观

13、察到事件A已经发生已经发生,那么就在参数空间那么就在参数空间 内选取参数内选取参数 的估计值，使的估计值，使A发发生的概率最大生的概率最大2.2.极大似然估计法极大似然估计法属离散型属离散型设总体设总体 X)1(;),P Xxp x设分布律为待估参数,21的样本的样本是来自总体是来自总体 XXXXn.);(,121 niinxpXXX 的联合分布律为的联合分布律为则则)(可能的取值范围可能的取值范围是是其中其中 ,2121的概率的概率取到观察值取到观察值则样本则样本nnxxxXXX.,2121一个样本值一个样本值的的为相应于样本为相应于样本又设又设nnXXXxxx11221,(;),nnnii

14、P Xx XxXxp x 令令121()(,;)(;),nniiLL x xxp x L()随着随着 的不同而变化，它是的不同而变化，它是 的函数，的函数，称称L()为似然函数。为似然函数。1122,nnXxXxXx即即事事件件发发生生的的概概率率为为1122,nnXxXxXx事事件件已已经经发发生生，基于上述极大似然估计的基本思想，可以选取基于上述极大似然估计的基本思想，可以选取 的的估计值估计值，使概率使概率L()达到最大值，即达到最大值，即1212()(,;)max(,;).nnLL x xxL x xx),(,2121nnxxxxxx 记为记为有关有关与样本值与样本值这样得到的这样得到

15、的称为参数称为参数 的极大似然估计值。的极大似然估计值。),(21nXXX 称为参数称为参数 的极大似然估计量。的极大似然估计量。属连续型属连续型设总体设总体 X)2(,),;(为待估参数为待估参数设概率密度为设概率密度为xf,21的样本的样本是来自总体是来自总体 XXXXn.);(,121 niinxfXXX 的联合密度为的联合密度为则则)(可能的取值范围可能的取值范围是是其中其中 .,2121一个样本值一个样本值的的为相应于样本为相应于样本又设又设nnXXXxxx),;();,()(121 niinxfxxxLL为似然函数，若有为似然函数，若有12(,),nx xx 1212()(,;)m

16、ax(,;).nnLL x xxL x xx 使使12(,)nx xx 称称为为 的极大似然估计值，。的极大似然估计值，。3.3.求极大似然估计量的步骤求极大似然估计量的步骤;);();,()();();,()()(121121 niinniinxfxxxLLxpxxxLL或或写出似然函数写出似然函数一一;);(ln)(ln);(ln)(ln )(11 niiniixfLxpL或或取对数取对数二二（X为离散型）为离散型）（X为连续型）为连续型）.,0d)(lnd,d)(lnd )(的最大似然估计值的最大似然估计值解方程即得未知参数解方程即得未知参数并令并令求导求导对对三三 LL极大极大似然估计

17、法也适用于分布中含有多个未知似然估计法也适用于分布中含有多个未知参数的情况参数的情况.此时只需令此时只需令.,2,1,0lnkiLi .),2,1(,iikik 的最大似然估计值的最大似然估计值数数即可得各未知参即可得各未知参个方程组成的方程组个方程组成的方程组解出由解出由 对数似然方程组对数似然方程组对数似对数似然方程然方程 例例1 1 有一批产品，次品率为有一批产品，次品率为p，从中随机，从中随机抽抽取取100件产品，其中有件产品，其中有10件次品，试估计件次品，试估计p的值的值 解解 若正品用若正品用“X=0”表示，次品用表示，次品用“X=1”表示，则总体表示，则总体X的概率分布为：的概

18、率分布为：1(1),0,1,xxP Xxppx 12100,x xx设设是是相相应应的的样样本本值值，则似然函数为则似然函数为10011()(1)iixxiL ppp 10010011100(1),iiiixxpp（p110例例7.7）解得，解得，10010011ln()11(100)0.1iiiidL pxxdppp 1001/1001/100.iipxx 易验证，易验证，是是lnL(p)的最大点，因此，的最大点，因此，p的极的极大似然估计值为大似然估计值为 p1/10.px取对数得，取对数得，10010011ln()()ln(100)ln(1),iiiiL pxpxp对对 p 求导，并令其

19、等于零，得求导，并令其等于零，得时有时较繁琐时有时较繁琐.一解时一解时，我们就简单地把这组解作为参数的极，我们就简单地把这组解作为参数的极似然方程组或（似然对数方程组）的解似然方程组或（似然对数方程组）的解,只是似然函数的只是似然函数的驻点驻点，还不一定是，还不一定是最大点最大点，即，即还不一定是极大似然估计值，需要验证，验证还不一定是极大似然估计值，需要验证，验证当似然方程组或（似然对数方程组）有当似然方程组或（似然对数方程组）有唯唯大似然估计值，而大似然估计值，而不再验证。不再验证。说明说明解解X的的分分布布律律为为e,(0,1,2,),!xP Xxxnx niixxLi1e!)(,!e1

20、1 niixnxnii 似然函数为似然函数为例例2 212(0),.nXXXXX 设设服服从从参参数数为为的的泊泊松松分分布布是是来来自自的的一一个个样样本本 求求 的的极极大大似似然然估估计计量量 ,!ln)(ln11 niiniixxnL 1dln()0,dniixLn 的极大似然估计值的极大似然估计值解得解得,11xxnnii 的极大似然估计量为的极大似然估计量为.11XXnnii 这一估计量与矩估计量是相同的这一估计量与矩估计量是相同的.令令解解的概率密度为的概率密度为X,e21),;(222)(2 xxf似然函数为似然函数为,e21),(222)(12 ixniL例例3 322212

21、(,),.nXNx xxX 设设总总体体为为未未知知参参数数是是来来自自的的一一个个样样本本值值 求求 和和的的极极大大似似然然估估计计量量,)(21ln2)2ln(2),(ln12222 niixnnL 222ln(,)0,ln(,)0,LL ,0112 niinx ,0)()(21212222 niixn 令令即即解得解得由由0112 niinx ,11xxnnii 解得解得由由0)()(21212222 niixn ,)(1212xxnnii 为为的极大似然估计量分别的极大似然估计量分别和和故故2 ,X .)(1212XXnnii 与相应的矩与相应的矩估计量相同估计量相同思考：如思考：如

22、 已知，方差的极大似然估计为？已知，方差的极大似然估计为？2211()niixn 例例4 4 设设 X Ua,b，求，求 a,b 的极大似然估计的极大似然估计.解解 X的概率密度为的概率密度为似然函数为似然函数为121,()(,)0,nnax xxbbaL a b 其其它它.似然函数在其不为零处不存在驻点，不能通似然函数在其不为零处不存在驻点，不能通过解似然方程组得到参数的极大似然估计过解似然方程组得到参数的极大似然估计1,(;,)0,axbf x a bba 其其它它.记记(1)12()12min,max,nnnxx xxxx xx似然函数为似然函数为(1)()1,()(,)0,nnaxxb

23、baL a b 其其它它.()(1)11(,),()()nnnL a bbaxx12(1)(),nnax xxbaxxb因因为为等等价价于于(1)(),naxbxa b于于是是对对于于满满足足条条件件的的任任意意有有(1)()(,),nL a baxbx即即似似然然函函数数在在时时取取到到最最12min,naXXX 12max,.nbXXX a,b的极大似然估计值分别为的极大似然估计值分别为a,b的极大似然估计量分别为的极大似然估计量分别为与相应的矩与相应的矩估计量不同估计量不同()(1)(),nnxx 大大值值(1)12min,naxx xx()12max,.nnbxx xx解：解：似然函数

24、为似然函数为.,0 n,2,1,i ),1 ,0(,)(11其其他他iniixxL例例5 设设 X1,X2,Xn 是抽自总体是抽自总体 X 的一个样本，的一个样本，X 有如下概率密度函数有如下概率密度函数.,0,10 ,),(1其其他他xxxf其中其中 0为未知常数，求为未知常数，求 的极大似然估计。的极大似然估计。,ln)1(ln)(ln1niixnL求导并令其导数等于零，得求导并令其导数等于零，得.0ln)(ln1niixndLd解上述方程，得解上述方程，得.ln1niixn11,01,()0,.nniiixxL 其其他他01ix当当 时，时，1ln niinX 所所以以，是是的的极极大大

25、似似然然估估量量。例例6 设总体设总体X的分布律为的分布律为1 2 3Xp其中其中 (0 1)为未知参数为未知参数.利用样本值利用样本值1，2，1，求求 的矩估计值和极大似然估计值的矩估计值和极大似然估计值.2 21()21()解解:（1）先求矩估计）先求矩估计()E X22122131()()23 1412133()x 所以所以 的矩估计值为的矩估计值为56 （2）求）求极大极大似然估计似然估计似然函数为似然函数为123121(),LP XXX 2221()521()4233 令令251ln()lnlnln()L5101ln()dLd 56 练习练习:总体总体XB(m,p),p未知，未知，1

26、2,nXXX是样本是样本,求参数求参数p的矩估计量与的矩估计量与极大极大似然估计量似然估计量.解解（1）矩估计量）矩估计量()E Xmp mpX 11niiXpXmnm （2）极大极大似然估计似然估计X的分布律为的分布律为10 1(),xxm xmP XxC ppxm 12,nx xx设设是样本值，是样本值，似然函数为似然函数为110 1()(),iiinxxm xmiiL pCppxm 1111()()nniiiiinxnmxxmiCpp 令令1111ln()ln()()ln()ln()innnxmiiiiiL pCxpnmxp1101ln()nniiiixnmxdL pdppp 11niipxnm p的的极大极大似然估计量为似然估计量为11niipXnm 求指数分布中参数的矩估计与极大似然估计求指数分布中参数的矩估计与极大似然估计.