参数估计点课件.ppt

1、参参 数数 估估 计计两种总体分布未知的情形两种总体分布未知的情形n总体分布的形式是已知的总体分布的形式是已知的，但其中包含未，但其中包含未知参数。我们的任务是通过样本来估计这知参数。我们的任务是通过样本来估计这些未知参数参数估计问题些未知参数参数估计问题n总体分布的形式是未知的总体分布的形式是未知的。我们的任务是。我们的任务是通过样本来估计总体的分布非参数估计通过样本来估计总体的分布非参数估计问题。问题。n本课程只讨论参数估计问题。本课程只讨论参数估计问题。未未知知，的的指指数数分分布布，其其中中参参数数是是服服从从参参数数为为设设总总体体0 X而而估估计计总总体体的的分分布布的的取取值值，

2、从从，来来估估计计我我们们的的任任务务是是根根据据样样本本 这这是是一一个个参参数数估估计计问问题题的的一一个个样样本本，是是总总体体 XXXn,1参参 数数 估估 计计o 点估计点估计o 区间估计区间估计o 估计量的评选标准估计量的评选标准估估参参数数。是是待待的的形形式式为为已已知知，的的分分布布函函数数设设总总体体 );(xFX应应的的样样本本值值。是是相相的的一一个个样样本本，是是nnxxXXX,11。来来估估计计未未知知参参数数值值，用用它它的的观观察察构构造造一一个个适适当当的的统统计计量量 ),(),(11nnxxXX；估计量估计量的的为为我们称我们称 ),(1nXX。估估计计值

3、值的的为为称称 ),(1nxx什么是点估计什么是点估计对未知参数进行对未知参数进行定值估计定值估计的方法称为点估计的方法称为点估计随机变量随机变量数组数组点点 估估 计计 矩估计矩估计 极大似然估计极大似然估计 矩估计法矩估计法概概率率密密度度为为为为连连续续型型随随机机变变量量，其其设设X,1是是待待估估参参数数其其中中k klEXll,2,1,存存在在设设 分分布布律律为为为为离离散散型型随随机机变变量量，其其X.,),(klkll211 则则),;(1kxf ),;(1kxPxXP .,1的样本的样本为来自为来自XXXn总体的 阶矩l由辛钦大数定律知由辛钦大数定律知 nililXnA11

4、P,l.,2,1kl.,1,llllAklA 估估计计用用令令所所以以 矩估计的原理矩估计的原理 nililXnA11样本的样本的 阶矩阶矩l kkkkkAAA ，2121222111 nkknnXXXXXXXXX，2121222111 的的联联立立方方程程组组，个个未未知知参参数数这这是是包包含含kk 1即即，记记为为从从中中解解出出方方程程组组的的解解,1k 的的估估计计量量，分分别别作作为为，用用kk 11例例 1 设某炸药厂一天中发生着火现象的次数设某炸药厂一天中发生着火现象的次数X服从服从（用用矩矩法法）。试试估估计计参参数数未未知知，有有以以下下样样本本值值；的的泊泊松松分分布布，

5、参参数数为为 250126225490756543210knkk次着火天数次着火天数发生发生着火的次数着火的次数,X令令 x 则则。所所以以估估计计值值22.1 22.1)16901750(2501 niiXXnA111,1 EX样本容量样本容量为为250250,1是一个样本是一个样本未知未知设总体设总体nXXbabaUX的矩估计量。的矩估计量。求：求：ba,21baEX 2ba 令令4)(12)(22baab 22EX 2)(EXDX 4)(12)(22baab 例例2解：解：1A 2A,21Aba 即即)(12212AAab )(12,22121AAabAba 即即)(32121AAAa

6、)(3 2121AAAb 解得解得：)(312 niiXXnX niiXXnX12)(3212AA )(1212XnXnnii niiXXn12)(12121XXnnii 是一个样本；是一个样本；未知，又设未知，又设，但但都存在，且都存在，且，方差，方差的均值的均值设总体设总体nXXX,01222 的的矩矩估估计计量量。求求：2,解：解：,2211AA 令令,2221AA 即即,1XA 所所以以2122AA 22 EX 222)(EXDX2121XXnnii 21)(1XXnnii 例例3,1 EX总体均值与方差的矩估计量的表达式与总体分布形式无关！总体均值与方差的矩估计量的表达式与总体分布形

7、式无关！未知；未知；特别，若特别，若22,),N(X niiXXnX122)(1,则则解：解：例例4的的矩矩估估计计个个样样本本，试试求求参参数数是是从从该该总总体体中中抽抽取取的的一一未未知知，的的指指数数分分布布，其其中中服服从从参参数数为为设设总总体体 nXXXX,021 X1 极大似然估计极大似然估计极大似然思想极大似然思想 有两个射手，一人的命中率为有两个射手，一人的命中率为0.9,0.9,另一人的命中另一人的命中率为率为0.1,0.1,现在他们中的一个向目标射击了一发，现在他们中的一个向目标射击了一发，结果命中了，估计是谁射击的？结果命中了，估计是谁射击的？一般说，事件一般说，事件

8、A发生的概率与参数发生的概率与参数有关，有关，取值不同取值不同，则，则P(A)也不同。因而应记也不同。因而应记事件事件A发生的概率为发生的概率为P(A|).若若A发生了，则认为此时的发生了，则认为此时的 值应是在值应是在 中使中使P(A|)达到最大达到最大的那一个的那一个。这就是极大似然思想。这就是极大似然思想 属属离离散散型型，其其分分布布律律若若总总体体X)1 niixp1);(),;(xpxXP可可能能取取值值的的范范围围。是是为为待待估估参参数数，的的形形式式为为已已知知，的的联联合合分分布布律律：则则的的样样本本是是来来自自设设nnXXXXX,11的概率为的概率为取取易知样本易知样本

9、nnxxXX,11,11的的一一个个样样本本值值是是又又设设nnXXxx);,()(1 nxxLL.,);(1 niixp);,()(1 nxxLL.,);(1 niixp有关有关观察值的概率与观察值的概率与取取易知样本易知样本 nnxxXX,111111);,()(pxxLLn 若2212);,()(pxxLLn 3313);,()(pxxLLn 1 2 3 个个不不同同的的估估计计值值的的是是未未知知参参数数3 321ppp 选哪个估计值比较合理选哪个估计值比较合理);,()(1 nxxLL.)(.称称为为样样本本的的似似然然函函数数的的函函数数它它是是 L使使得得：的的估估计计值值，即即

10、取取，作作为为的的参参数数达达到到最最大大挑挑选选使使概概率率固固定定 );,(,11nnxxLxx极大似然法原理：极大似然法原理：);,(max);,(11 nnxxLxxL );,(,11nnxxxx 有关，记为有关，记为与与。极极大大似似然然估估计计值值的的称称其其为为参参数数.,);(1 niixp.),;()2为为待待估估参参数数的的形形式式已已知知，属属连连续续型型，其其概概率率密密度度若若总总体体 xfX的的联联合合密密度度：则则nXX,1 niixf1);(似似为为：维维立立方方体体）内内的的概概率率近近的的别别为为的的邻邻域域（边边长长分分落落在在机机点点的的一一个个样样本本

11、值值，则则随随是是相相应应设设ndxdxxxXXXXxxnnnnn,),(),(,11111 );(1iniidxxf ix)(ixf 应当选取使得应当选取使得的前提下，自然的前提下，自然，在得到观测值在得到观测值nxxx21的估计值的估计值值作为未知参数值作为未知参数达到最大的达到最大的 );(1iniidxxf 大大样本观测值的可能性最样本观测值的可能性最定的那个定的那个等于这个值时，出现给等于这个值时，出现给因为当未知参数因为当未知参数 而变，故只需考虑：而变，故只需考虑：不随不随但但 iidx ,);();,()(11 niinxfxxLL 。似似然然函函数数称称为为样样本本的的的的最

12、最大大值值，这这里里)(L);,(max);,(11 nnxxLxxL 若若。极极大大似似然然估估计计值值的的为为则则称称 ),(1nxx。极极大大似似然然估估计计量量的的为为称称 ),(1nXX);(),;(可由下式求得：可由下式求得：可微，故可微，故关于关于一般，一般，xfxp0)(ddL也也可可从从下下述述方方程程解解得得：大大似似然然估估计计的的极极处处取取到到极极值值，因因此此在在同同一一与与又又因因 )(ln)(LL0)(ln Ldd-对数似然方程对数似然方程-似然方程似然方程-似然方程似然方程个参数，个参数，若总体的分布中包含多若总体的分布中包含多kiLi,1,0 即可令即可令的

13、的极极大大似似然然估估计计值值。个个方方程程组组求求得得解解kk ,1的的极极大大似似然然估估计计量量。即即可可得得k ,1kiLi,1,0ln 或或-对数似然方程组对数似然方程组-似然方程组似然方程组极大似然法求估计量的步骤极大似然法求估计量的步骤：(一般情况下一般情况下):)()1 L构造似然函数构造似然函数,()()(1 niixPL离散型）离散型）niixfL1;()()(连连续续型型）);(ln)2 L取对数：取对数：;0ln)3 dLd令令.)4 的的极极大大似似然然估估计计量量解解似似然然方方程程得得说明：若似然方程（组）无解，或似然函数不可导，说明：若似然方程（组）无解，或似然

14、函数不可导，此法失效，改用其它方法。此法失效，改用其它方法。的的一一个个样样本本，是是来来自自设设XXXpBXn,);,1(1试求参数试求参数 p 的极大似然估计量。的极大似然估计量。解：解：;1,0,)1(1 xppxXPxx故似然函数为故似然函数为 nixxiipppL11)1()()(lnpL而而例例4,)1(11 niiniixnxpp).1ln()(ln)(11pxnpxniinii 的分布律为：的分布律为：是一个样本值。是一个样本值。设设Xxxn,1,()()(1 niixPL离离散散型型）的的极极大大似似然然估估计计值值解解得得p的的极极大大似似然然估估计计量量为为p-它与矩估计

15、量是相同的。它与矩估计量是相同的。即即令令,0)(ln pLdpdxxnpnii 11 XXnpnii 11 )1ln()(ln)()(ln11pxnpxpLniinii .0111 pxnpxniinii例例4（续）（续）的的一一个个样样本本值值，是是来来自自为为未未知知参参数数，设设XxxNXn,);,(122 .,2的的极极大大似似然然估估计计量量求求 )(21exp21),;(222 xxf似然函数为：似然函数为：niixL1222)(21exp21),(Lln1 点估计例例5)ln(22 n niix122)(21 )2ln(2 n 2122)(22)2(niixne的的概概率率密密

16、度度为为：X niixfL1;()()(连连续续型型）0ln0ln2 LL令令,11xxnnii 解得：解得：:,2的极大似然估计量为的极大似然估计量为故故 )2ln(2ln nL )ln(22 n niix122)(21 即：即：.)(1 11221 niiniiXXnXXn 0)(1 12 niix0)(212-2142 niixn niixxn122)(1 例例4（续）（续）是是一一个个样样本本值值，未未知知，设设nxxbabaUX,;,1的的极极大大似似然然估估计计量量。求求：ba,X 的概率密度为：的概率密度为：其它其它,0;,1),;(bxaabbaxf nabbaL)(1,),l

17、n(,lnabnbaL nibxai，21 ;0,ln abnbaLa例例6似然函数为似然函数为 ,0,ln abnbaLb 但这不能说明不存在极但这不能说明不存在极大似然估计量，只是不能由似然方程组求解。大似然估计量，只是不能由似然方程组求解。显然，似然方程组无解显然，似然方程组无解，niixfL1;()()(连连续续型型）其它其它,0;,)(1),()()1(bxxaabbaLnn有有的任意的任意对于满足对于满足babxxan,)()1(nnnxxabbaL)(1)(1),()1()(按按从从小小到到大大顺顺序序排排列列成成将将nxx,1,)()2()1(nxxx 则则使使得得似似然然函函

18、数数取取最最大大值值，可可能能取取值值的的范范围围中中找找到到从从 baba,时，时，在在即：即：)()1(,),(nxbxabaL 的的极极大大似似然然估估计计值值为为：故故ba,max,min)()1(inixxbxxa 的的极极大大似似然然估估计计量量为为：故故ba,.max,miniiXbXa nnxx)(1)1()(取最大值例例6（续）（续）的的极极大大似似然然估估计计；是是具具有有单单值值反反函函数数，的的函函数数设设 ),(uu,)(12122的的极极大大似似然然估估计计是是例例：niiXXn)0(,)(2222 uuuu 有有单单值值反反函函数数.)(1122的的极极大大似似然

19、然估估计计是是故故 niiXXn极大似然估计性质极大似然估计性质的的极极大大似似然然估估计计。是是则则)()(uuu .05.0,),(22的的极极大大似似然然估估计计量量的的点点未未知知，求求使使设设AAXPNX AXP,645.1 A查表有查表有.645.1 A所以所以为为的极大似然估计量分别的极大似然估计量分别和和由前面知由前面知2 的极大似然估计量为的极大似然估计量为所以所以A05.0)(1 A 645.1 A.)(1645.112 niiXXnX niiXXnX122)(1,解解：估计量的的评选标准估计量的的评选标准o 无偏性无偏性o 有效性有效性o 一致性一致性对一个未知参数的对一

20、个未知参数的估计量有多个，哪估计量有多个，哪个比较好呢？个比较好呢？,),(1 EXXn且且的的数数学学期期望望存存在在，若若的的无无偏偏估估计计量量。是是则则称称 无无 偏偏 性性例例1的的样样本本，是是总总体体),(,21 NXXXn.,2均均未未知知 .的的无无偏偏估估计计量量是是所所以以 X.)(1121222的的无无偏偏估估计计量量是是所所以以 niiXXnS,XE因因为为,22 ES而而 niiXXnB1221考察考察由于由于 niiXXnEBE1221 niiXXnnnE12111 21SEnn 21 nn 的有偏估计的有偏估计是总体方差是总体方差因此，因此，21221 niiX

21、XnB阶阶矩矩，并并设设存存在在设设总总体体mX,阶原点矩阶原点矩是样本的是样本的 k，kkEX nikikXnA11由由于于的的无无偏偏估估计计阶阶原原点点矩矩是是总总体体的的因因此此knikikkXnA 11 mk，21 mk，21 nikikXnEAE11 nikiXEn11 nikn11 k mk，21 例例2的的样样本本，又又设设是是总总体体 XXXn,1计计一一定定有有无无穷穷多多个个无无偏偏估估则则，与与有有两两个个不不同同的的无无偏偏估估计计如如果果未未知知参参数数 21，数数这这是是因因为为，对对任任意意的的实实 211 的无偏估计的无偏估计一定是未知参数一定是未知参数,),

22、(),(122111的的无无偏偏估估计计量量都都是是，若若 nnXXXX .21有效有效较较则称则称 ),()(21 DD 且且有效性有效性212111)-()E-()(EED .1的的偏偏离离程程度度与与表表示示 1 2 哪个更好？哪个更好？,),(),(122111的的无无偏偏估估计计量量都都是是，若若 nnXXXX ),()(21 DD 且且 未知，未知，其中，其中，设总体设总体 2 NX个个样样本本是是从从该该总总体体中中抽抽取取的的一一321,XXX试试验验证证：;21103513211XXX ;12541313212XXX 计计中中，哪哪一一个个更更有有效效？的的估估这这两两个个的

23、的无无偏偏估估计计，并并指指出出在在都都是是未未知知参参数数 32112110351XXXEE 32121254131XXXEE 3212110351XEXEXE 2110351 3211254131XEXEXE 1254131 32112110351XXXDD 32121254131XXXDD 321411009251XDXDXD 22221800684411009251 3211442516191XDXDXD 222218006251442516191 21比有效.,),(1 PnnnnXX时时，当当对对于于任任意意如如果果的的估估计计量量为为参参数数若若的的相相合合估估计计量量。是是则则称称 相合性相合性相合性是对一个估计量的基本要求，若估计量不具有相相合性是对一个估计量的基本要求，若估计量不具有相合性，则不论将样本容量合性，则不论将样本容量n n 取多大，都不能将未知参数取多大，都不能将未知参数估计得足够准确，这样的估计量是不可取的。估计得足够准确，这样的估计量是不可取的。由矩估计法得到的估计量满足相合性由矩估计法得到的估计量满足相合性由最大似然估计法得到的估计量在一定条件下满足相合性由最大似然估计法得到的估计量在一定条件下满足相合性作业：作业：本章习题本章习题5 5、6 6、1111