1、 概率论与数理统计概率论与数理统计第十七讲第十七讲主讲教师：柴中林副教授主讲教师：柴中林副教授中国计量学院理学院中国计量学院理学院第七章第七章:参数估计参数估计数理统计的任务：数理统计的任务：总体分布类型的判断；总体分布类型的判断；总体分布中未知参数的推断总体分布中未知参数的推断(参数估计参数估计与与 假设检验假设检验)。参数估计问题的一般提法参数估计问题的一般提法 设总体设总体 X 的分布函数为的分布函数为 F(x,)，其中其中 为未知参数或参数向量，现从该总体中抽样为未知参数或参数向量，现从该总体中抽样,得到样本得到样本X1,X2,Xn.依样本对参数依样本对参数 做出估计，做出估计，或估计
2、参数或估计参数 的的某个已知函数某个已知函数 g()。这类问题称为参数估计。这类问题称为参数估计。参数估计包括：参数估计包括：点估计点估计和和区间估计区间估计。称该计算称该计算值为值为 的一个点估计。的一个点估计。为估计参数为估计参数，需要构造适当的统计量，需要构造适当的统计量 T(X1,X2,Xn)，一旦当有了样本，就将样本值代入到该统计一旦当有了样本，就将样本值代入到该统计量中，算出一个值作为量中，算出一个值作为 的估计，的估计，寻求估计量的方法寻求估计量的方法1.矩估计法矩估计法2.极大似然法极大似然法3.最小二乘法最小二乘法4.贝叶斯方法贝叶斯方法 我们仅介绍前面的两种参数估计法我们仅
3、介绍前面的两种参数估计法。其思想是其思想是:用同阶、同类用同阶、同类的样本矩来估计总体矩。的样本矩来估计总体矩。矩估计是基于矩估计是基于“替换替换”思想建立起来的思想建立起来的一种参数估计方法一种参数估计方法。最早由英国统计学家最早由英国统计学家 K.皮尔逊皮尔逊 提出。提出。7.1 矩估计矩估计矩估计就是用相应的样本矩去估计总体矩。矩估计就是用相应的样本矩去估计总体矩。),(kkXEak阶阶原原点点矩矩总总体体,1 1nikikXnAk 阶阶原原点点距距样样本本,)(kkXEXEbk）（阶中心矩总体,1 1kniikXXnBk）（阶阶中中心心距距样样本本设总体设总体 X 的分布函数中含的分布
4、函数中含 k 个未知参数个未知参数.,21k步骤一：步骤一：记总体记总体 X 的的 m 阶原点矩阶原点矩 E(Xm)为为 am ,m =1,2,1,2,k.am(1,2,k),m=1,2,k.一般地一般地,am(m=1,2,K)是总体分布是总体分布中参数或参数向量中参数或参数向量(1,2,k)的函数。的函数。故故,am(m=1,2,k)应记成应记成:步骤二：步骤二：算出样本的算出样本的 m 阶原点矩阶原点矩.,2,1 ,11kmXnAnimim步骤三：步骤三：令令 得到关于得到关于 1 1,2 2,k k 的方程组的方程组(L Lk)。一般要求方程组一般要求方程组(1)(1)中有中有 k 个独
5、立方程。个独立方程。(1).),(,),(,),(2122121211LkLkkAaAaAa步骤四：步骤四：解方程组解方程组(1),(1),并记其解为并记其解为.,2,1),(21kmXXXnmm，),(),(2121的的矩矩估估计计。就就是是则则kk 这种参数估计法称为参数的矩估计法，这种参数估计法称为参数的矩估计法，简称矩法。简称矩法。解：解：先求总体的期望先求总体的期望xxxXE d )1()(10.21 d )1(101xx例例1 1：设总体设总体 X 的概率密度为的概率密度为.,0,10 ,)1()(其他其他xxxf的的矩矩估估计计。求求为为未未知知参参数数。其其中中 1 由矩法，令
6、由矩法，令21 X样本矩样本矩总体矩总体矩解得解得XX112为为 的矩估计。的矩估计。注意：要在参数上边加上注意：要在参数上边加上“”，表示参数的估计。它是统计量。表示参数的估计。它是统计量。解解:先求总体的均值和先求总体的均值和 2 阶原点矩。阶原点矩。例例2：设设 X1,X2,Xn 是取自总体是取自总体 X 的简单样本的简单样本,X 有概率密度函数有概率密度函数的的矩矩估估计计。求求。为为未未知知参参数数，其其中中其其他他 ,0 ,.,0 ,1)()(xexfxxexXEx d 1)()(令令y=(=(x-)/)/yeyy d )(0.xexXEx d 1)()(22令令y=(=(x-)/
7、)/,)(22 d )2(d )(2222022202yeyyyeyyy用样本矩用样本矩估计总体矩估计总体矩的的矩矩估估计计。为为参参数数,niiXnX1222.1)(,令令得.)(1,)(111212122niiniiniiXXnXXXnXnXn列出方程组列出方程组:.)(),(,)(),(2222221XEaXEa.1),(,),(122221niiXnaXaniiXnX1222.1,即即例例3：设总体设总体X的均值为的均值为，方差为，方差为 2，求求 和和 2 的的矩估计。矩估计。解：解：由由 故，均值,方差2的矩估计为.)(1,212XXnXniiniiXXnX122 )1,（.12S
8、nn即求解，得求解，得如：如：正态总体正态总体N(,2)中中 和和 2 2的矩估计为的矩估计为.)1,122niiXXnX（又如：又如：若总体若总体 X U(a,b)，求，求a,b的矩估计。的矩估计。解：解：列出方程组列出方程组 .)(,)(2XVarXEniiXXnX122.)1,（其中因因 .12)()(,2)(2abXVarbaXE解上述方程组，得到解上述方程组，得到 a,b 的矩估计的矩估计:.12)(,2 22abXba得.3,3XbXa.)112niiXXn（其中 矩估计的矩估计的优点是：优点是：简单易行简单易行,不需要事不需要事先知道总体是什么分布。先知道总体是什么分布。缺点是：
9、缺点是：当总体的分布类型已知时，未当总体的分布类型已知时，未充分利用分布所提供的信息充分利用分布所提供的信息；此外，一般情此外，一般情形下，矩估计不具有唯一性形下，矩估计不具有唯一性 。7.2 极大似然估计极大似然估计 极大似然估计法是在总体的分布类型已极大似然估计法是在总体的分布类型已知前提下，使用的一种参数估计法知前提下，使用的一种参数估计法。该方法首先由德国数学家该方法首先由德国数学家高斯高斯于于 1821年年提出，其后英国统计学家提出，其后英国统计学家费歇费歇于于 1922年发现年发现了这一方法，研究了方法的一些性质，并给了这一方法，研究了方法的一些性质，并给出了求参数极大似然估计一般
10、方法出了求参数极大似然估计一般方法极大极大似然估计原理似然估计原理。I.极大似然估计原理极大似然估计原理 设总体设总体 X 的分布的分布(连续型时为概率密度，连续型时为概率密度，离散型时为概率分布离散型时为概率分布)为为 f(x,),X1,X2,Xn 是是抽自总体抽自总体 X 的简单样本。于是，样本的联合概的简单样本。于是，样本的联合概率函数率函数(连续型时为联合概率密度，离散型时连续型时为联合概率密度，离散型时为联合概率分布为联合概率分布)为为.),(),(121niinxfxxxL被看作固定，被看作固定，但未知的参数。但未知的参数。视为变量视为变量将上式简记为将上式简记为 L()，即，即称
11、称 L()为为 的似然函数。的似然函数。),(),(121niinxfxxxL视为变量视为变量视为固定值视为固定值,),()(1niixfL).(max)(LL 假定现在我们观测到一组样本假定现在我们观测到一组样本 X1,X2,Xn，要去估计未知参数，要去估计未知参数 。称称 为为 的极大似然估计的极大似然估计(MLE)。一种直观的想法是：哪个参数一种直观的想法是：哪个参数(多个参数多个参数时是哪组参数时是哪组参数)使得现在的出现的可能性使得现在的出现的可能性(概概率率)最大，哪个参数最大，哪个参数(或哪组参数或哪组参数)就作为参数就作为参数的估计。的估计。这就是这就是 极大似然估计原理。极大
12、似然估计原理。如果如果 可能变化空间可能变化空间,称为称为参数空间。参数空间。(4).在最大值点的表达式中，代入样本值，在最大值点的表达式中，代入样本值，就得参数就得参数 的极大似然估计。的极大似然估计。II.求极大似然估计求极大似然估计(MLE)的一般步骤的一般步骤(1).由总体分布导出样本的联合概率函数由总体分布导出样本的联合概率函数(连连 (2)续型时为联合概率密度续型时为联合概率密度,离散型时为联离散型时为联合合(3)概率分布概率分布)；(2).把样本的联合概率函数中的自变量看成把样本的联合概率函数中的自变量看成 已知常数已知常数,参数参数 看成自变量看成自变量,得到似然得到似然 函数
13、函数 L()；(3).求似然函数求似然函数 L()的最大值点的最大值点(常常转化常常转化 为求为求ln L()的最大值点的最大值点)，即，即 的的MLE;两点说明：两点说明：,0)(lndLd 求似然函数求似然函数 L()的最大值点，可应用微积的最大值点，可应用微积分中的技巧。由于分中的技巧。由于 ln(x)是是 x 的增函数，所的增函数，所以以 ln L()与与 L()在在 的同一点处达到各自的同一点处达到各自的最大值。假定的最大值。假定 是一实数是一实数,ln L()是是 的的一个可微函数。通过求解似然方程一个可微函数。通过求解似然方程可以得到可以得到 的的MLE。用上述方法求参数的极大似
14、然估计有时行用上述方法求参数的极大似然估计有时行不通，这时要用极大似然原理来求不通，这时要用极大似然原理来求。若若 是向量，上述似然方程需用似然方程组是向量，上述似然方程需用似然方程组0),(ln,0),(ln,0),(ln21221121kkkkLLL代替代替。III.下面举例说明如何求参数的下面举例说明如何求参数的MLE例例1:设设X1,X2,Xn是取自总体是取自总体 XB(1,p)的的一个样本，求参数一个样本，求参数 p 的极大似然估计。的极大似然估计。nixxiipp11)1(解：解：似然函数为似然函数为,)1(11niiniixnxppniipxfpL1),()(),1ln()()l
15、n()(ln11pxnpxpLniinii对数似然函数为：对数似然函数为：对对 p 求导，并令其等于零，得求导，并令其等于零，得.0)(111)(ln11niiniixnpxpdppLd xn上式等价上式等价于于.11pxpx解上述方程，得解上述方程，得.11pxpx.xp 换成换成 X换成换成p 的的极极大大似似然然估估计计。为为得得 pXp 例例2 2：求正求正态总体态总体 N(,2)参数参数 和和 2 2 的极大的极大似然估计似然估计(注注:我们把我们把 2 2 看作一个参数看作一个参数)。解：解：似然函数为似然函数为,)2(21),(12222)(212212)(2niiixnnixe
16、eL,)(21ln2)2ln(2),(ln12222niixnnL对数似然函数对数似然函数为为 似然方程组为似然方程组为由第一个方程，得到由第一个方程，得到.0)(212),(ln,0)(1),(ln124222122niiniixnLxL；11xxnnii代入第二方程，得到代入第二方程，得到.)(1122niixxn 是是L L(,2 2)的的最最大值点，大值点，即即 和和 2 2 的极大似然估计。的极大似然估计。,)2(),(122)(2122niixneL由由.0),(lim ,0),(lim ,0),(lim 202222LLL知知及及微微积积分分知知识识，niiXXnX122)(1
17、,从从而而 下面验证：下面验证：似然方程组的唯一解似然方程组的唯一解是似然是似然函数的最大值点。函数的最大值点。例例3：设总体设总体 X 服从泊松分布服从泊松分布 P()，求参数，求参数 的极大似然估计。的极大似然估计。,2 ,1 ,0 ,!),(xexxfx !),()(11niixniiexxfLi解：解：由由 X 的概率分布函数为的概率分布函数为得得 的似然函的似然函数数,!11niixnxenii.11xxnnii.01)(ln1niixnLdd似然方程为似然方程为对数似然函数对数似然函数为为niiniixxnL11),!ln()(ln)(ln其解为其解为,01)(ln 1222nii
18、xL因因又又是是最最大大值值点点。它它，的的唯唯一一极极大大值值点点。所所以以是是知知 )(ln Lx换成换成 X换成换成.11xxnnii得得 的极大似然估计的极大似然估计.X例例 4：设设 X U(a,b)，求，求 a,b 的极大似然估计。的极大似然估计。解：解：因因,0 ,1),(baxbaxabbaxf.,0 ,2 ,1 ,)(1 ),(),(1其其他他nibaxabbaxfbaLinnii所以所以.0,maxmin,)(1 ,0 ,2 ,1 ,)(1),(11其其他他其其他他bxxaabnibaxabbaLiniininin.0,maxmin,)(1),(11其其他他bxxaabba
19、Liniinin 由上式看到：由上式看到：L L(a,b)作为作为a和和b的二元函数的二元函数是不连续的，是不连续的，所以所以我们不能用似然方程组来求我们不能用似然方程组来求极大似然估计，而必须从极大似然估计的定义极大似然估计，而必须从极大似然估计的定义出发，求出发，求L(a,b)的最大值。的最大值。为使为使 L(a,b)达到最大，达到最大，b-a 应该尽量地小。应该尽量地小。但但 b不能小于不能小于 max x1 1,x2 2,xn n。否则，。否则，L(a,b)=0 0。类似地，。类似地，a 不能大于不能大于min x1 1,x2 2,xn n。因此，因此，a 和和 b b 的极大似然估计
20、为的极大似然估计为.max ,min11iniinixb xa解：解：似然函数为似然函数为.,0 n,2,1,i ),1 ,0(,)(11其其他他iniixxL例例5：设设 X1,X2,Xn 是抽自总体是抽自总体 X 的一个样的一个样本，本，X 有如下概率密度函数有如下概率密度函数.,0,10 ,),(1其其他他xxxf其中其中 0为未知常数。为未知常数。求求 的极大似然估计。的极大似然估计。也可写成也可写成,ln)1(ln)(ln1niixnL.,0 1,maxmin0,)(1111其其他他iniininiinxxxL对对数数似似然然函函数数为为时时，当当 1maxmin0 11iniinixx求导并令其导数等于零，得求导并令其导数等于零，得.0ln)(ln1niixndLd解上述方程，得解上述方程，得.ln1niixn的的极极大大似似然然估估计计。为为所所以以，ln1niiXn小结小结 本讲首先介绍参数矩估计的基本思想以本讲首先介绍参数矩估计的基本思想以及求矩估计的步骤，给出多个求参数矩估计及求矩估计的步骤，给出多个求参数矩估计的例子；然后介绍参数极大似然估计的基本的例子；然后介绍参数极大似然估计的基本原理，求极大似然估计的基本方法，给出多原理，求极大似然估计的基本方法，给出多个求参数极大似然矩估计的例子。个求参数极大似然矩估计的例子。
