矩估计和极大似然估计课件.ppt

1、1二、极大似然估计法二、极大似然估计法一一、矩法矩法估计估计 第七章参数估计三、三、估计量的评选标准估计量的评选标准四、置信区间四、置信区间2参数估计 参数估计问题是利用从总体抽样得到的信息参数估计问题是利用从总体抽样得到的信息估计湖中鱼数估计湖中鱼数 估计平均降雨量估计平均降雨量来估计总体的某些参数或者参数的某些函数。来估计总体的某些参数或者参数的某些函数。统计推断：参数估计和假设检验。统计推断：参数估计和假设检验。3参数估计要解决问题参数估计要解决问题:总体分布函数的形式为已知总体分布函数的形式为已知,需要确定未知参数。需要确定未知参数。但其中参数但其中参数未知时，未知时，这类问题称为参数

2、估计问题。这类问题称为参数估计问题。只有当参数只有当参数 确定后，确定后，才能通过才能通过率密度函数计算概率。率密度函数计算概率。对于未知参数，对于未知参数，如何应用样本如何应用样本nXXX,21所所提供的信息去对其一个或多个未知参数进行估计。提供的信息去对其一个或多个未知参数进行估计。4 参数估计参数估计是对已知分布类型的总体，参数估计参数估计点点 估估 计计区间估计区间估计矩矩 估估 计计极大似然估计极大似然估计 参数估计可作如下划分参数估计可作如下划分利用样本对其未知参数作出估计5 1.1.矩估计矩估计2.2.极大似然极大似然估计估计3.3.最小二乘法最小二乘法4.4.贝叶斯方法贝叶斯方

3、法这里我们主要介绍前面两种方法这里我们主要介绍前面两种方法 .寻求估计量的方法寻求估计量的方法6点估计问题点估计问题：构造一个适当的统计量构造一个适当的统计量用用它的观它的观察值察值来来估计未知参数估计未知参数.称称为为的估计量，的估计量，为为的估计值的估计值.参数估计：参数估计：点估计点估计:估计估计的具体数值的具体数值;区间估计区间估计:估计估计的所在范围的所在范围.),(21nXXX),(21nXXX),(21nxxx),(21nxxx7第七章第一节第一节矩矩 法法 估估 计计二、常用分布参数的矩法估计二、常用分布参数的矩法估计 一一、矩法估计、矩法估计 8一一 .矩估计法矩估计法故用样

4、本矩来估计总体矩故用样本矩来估计总体矩 基本原理基本原理：总体矩是反映总体分布的最简单的总体矩是反映总体分布的最简单的数字特征，数字特征，当总体含有待估计参数时，当总体含有待估计参数时，总体矩是总体矩是待估计参数的函数。待估计参数的函数。样本取自总体，样本取自总体，.,2,1 k)(kPkXEA样本矩在一定程度上可以逼近总体矩，样本矩在一定程度上可以逼近总体矩，由英国统计学家由英国统计学家K.皮尔逊最早提出的。皮尔逊最早提出的。9),;(1kxF 其中其中k ,1是待估是待估参数参数.nXX,1X为为来自来自的的样本样本,nkXEkk,2,1,)(存在存在,设设总体的总体的k阶矩阶矩 niki

5、kXnA11则样本的则样本的k阶矩阶矩k P(由大数定理由大数定理)klAkk,1,令令k 1，从中解得从中解得k个方程组个方程组即为即为矩估计量。矩估计量。矩估计量的观察值称为矩估计值。矩估计量的观察值称为矩估计值。设总体设总体X的分布函数为的分布函数为10矩估计步骤：矩估计步骤：1(1),EX个方程：列出k)2(22(),()kkE XE XniXnA1i111,nikikXnA11,k);,(1iniXX 解出矩估计量矩估计量,1ki);,(1inixx 矩估计值矩估计值,1ki dxxpxXEkkk),()(1连续型连续型离散型离散型),()(11kiikkxpxXE11所以参数 p

6、的矩估计量为例：例：总体 X 的分布列为：knkknppCkXP)1()10(,1,0pnk是来自总体X的样本，nXX,1EX1np解：11A 又又X,Xnp 得nXp .nXp 由于总体X 的分布为二项分布，12设某炸药厂一天中发生着火现象的次数X未知，有以下样本值；的泊松分布，参数为250126225490756543210knkk次着火天数发生着火的次数niiXXnAEX1111解：,X令22.1)16901750(2501 x则。估计值所以22.1,X例例1 1服从（用矩法）。试估计参数13下面我们通过几个例子说明利用矩估计法求下面我们通过几个例子说明利用矩估计法求未知参数的过程。未知

7、参数的过程。二、常用分布常数的矩法估计二、常用分布常数的矩法估计14是一个样本；未知，又设，但都存在，且，方差的均值设总体nXXX,0122的矩估计量。求：2,1 EX,2211AA令,2221AA即,1XA 所以2221AA未知；特别，若22,),N(X niiXXnX122)(1,则例例222222()()E XDXEX解解21Snn 2211niiXXn211()niiXXn15注注:总体均值方差的矩估计量与总体分布无关。做矩估计时,也可用中心矩建立关于未知参数的方程组，因而矩估计不唯一。,）（设X,）（XDXEX)(22XE EX1 2)(EXDX;22A ,11XA ;1A;)(12

8、12 niiXXn 未知，求参数的矩估计。例例3 3解：解：16解解.,0,1次取到合格品第次取到不合格品；第iiXi不合格品率 p 的矩法估计 分析分析 设总体X 为抽的不合格产品数，相当于抽取了一组样本X1，X2，Xn,且因 p=EX,故 p 的矩估计量为 设某车间生产一批产品，为估计该批产品不合格品niniAfXnXp1)(1(即出现不合格产品的频率).例例41,2,.in率，抽取了n 件产品进行检查.17是一个样本；未知；设总体nXXbabaUX,1的矩估计量。求：ba,21baEXniiXnAba1112令niiXnAbaab1222214)(12)(22222()()()()124

9、baabE XDXEX例例5解解)(12,22121AAabAba即niiXXnXAAAa122122)(3)(3解得：18niiXXnXAAAa122122)(3)(3解得：niiXXnXAAAb122121)(3)(3 niiXnAba1112令niiXnAbaab1222214)(12)()(12,22121AAabAba即191111.0,;,)()(xxxxp是未知参数，X1，X2，,Xn，是X 的一组样本，1)1(dxxxEX解解,11dxx设总体X的概率密度为,1x解得.1xx例例6求的矩估计量.,11niixnEX20.0,;,1)()/(xxexpx其中0，与是未知参数，X1

10、，X2，,Xn，是X 的一组样本，求与的矩估计量.dxeEXxx解解,01)(dyeyy例例7.设总体X的概率密度为,xy令21令令 .,22MX注意到注意到 DX=E(X2)(EX)2=2 2e)(2dxXExx 0222122)(dyeyy=2+(+)2,)(1212 niinXXM.MX2 EX22第七章第二节极大似然估计极大似然估计极大似然估计极大似然估计 23 极大似然法的基本思想极大似然法的基本思想 先看一个简单例子：先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过 .是谁打中的呢？是谁打中的呢？某位同学与一位猎人一某位同学与一位猎人一起外出打猎起外出打猎 .如果要你推测，如

11、果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 .24基本思想基本思想:,1nAA 若事件若事件Ai i 发生了发生了,则认为事件则认为事件Ai在这在这n个可能结果个可能结果中出现的概率最大。中出现的概率最大。极大似然估计就是在一次抽样中极大似然估计就是在一次抽样中,若得到观测值若得到观测值nxx,1则选取则选取),(1nxx 若一试验有若一试验有n个可能结果个可能结果现做一试验现做一试验,作为作为的估计值的估计值。),(1nxx 使得当使得当时时,样本出现的概率最大样本出现的概率最大。25极大似然估计法极大似然估计法:nXX,1设是的一个样本值nx

12、x,1);,()(1 nxxLL,);(1Dxpnii),(iixpxXP nXX,1,);(1 niixp,11nnxXxX 事件 发生的概率为为 的函数，),(ixp形式已知(如离散型)X的分布列为的联合分布列联合分布列为：为样本的似然函数样本的似然函数。121(;)(,)(,)(,),ninip xp xp xp xD定义定义7.126);,(max);,(11nDnxxLxxL即取 使得：与nxx,1有关,记为);,(1nxx 称为参数的极大似然估计值极大似然估计值。),(1nXX 称为参数的极大似然估计极大似然估计量量。);,(1 nxxL达到最大的参数，作为的估计值。现从中挑选使概

13、率);,()(1 nxxLL 样本的似然函数27若总体X属连续型,其概率密度Dxp),;(的形式已知，为待估参数；则nXX,1的联合密度：niixp1);()();,(1 LxxLn 0)(ddL);(xp一般，关于可微，故可由下式求得：0)(lnLdd)()(l LnL与与因此 的极大似然估计也可从下式解得：在同一点处取极值。28()ln()ln()0.LLdLd与处计从：又因在同一取到极值，因此 的极大似然估也可下述方程解得个参数，若母体的分布中包含多.,1,0kiLi即可令的极大似然估计值。个方程组求得解kk,1.,1,0lnkiLi或29;1,0,)1(1ixxixppxXPii故似然

14、函数为)(pL)(lnpL例例1 1 设nXXpBX,);,1(1是来自总体X的一个样本，试求参数 p 的极大似然估计值.解解：设nxx,1是一个样本值。X的分布列为：而iixxnipp11)1(,)1(11niiniixnxpp)1ln()(ln)(11pxnpxniinii)(lnpLdpd令0111pxnpxniinii30 xxnp nii 11XXnpnii 11 它与矩估计量是相同的。它与矩估计量是相同的。解得解得p的极大似然估计值的极大似然估计值p的极大似然估计量的极大似然估计量)(lnpLdpd令令)1ln()(ln)()(ln11pxnpxpLniinii0111pxnpxn

15、iinii111nniiiixnxpp1niinpx解得31设总体X的分布列为：(1)iiixxm ximP XxC pp0,1,(01)impnXX,1解：解：的样本值是对应设nnXXxx,11似然函数为似然函数为)(pLniiixXP1,)1()(111niiniiixmnxnixmppCiiixmxnixmppC)1(1似然估计值。例例2 2是来自总体X的样本，求 p 的极大32)(lnpL)ln(1nixmiCpxniiln)(1)1ln()(1pxmnnii)(pL,)1()(111niiniiixmnxnixmppC,0)(lnpLdpd令令0111pxmnpxniinii即即mx

16、p 所以参数所以参数的极大似然估计量为的极大似然估计量为pmXp 33解解例例3 3设 X1,X2,Xn 是取自总体X 的一个样本,，求参数的极大似然估计值。()X,0,1,!ixiiieP Xxxx1()!ixniieLx似然函数为似然函数为:111!niinxniiex11ln()ln(!)(ln)nniiiiLxnx 0)(1niixnddLnxnii 1 为一样本值，设nxx,1x34其它,0;,1),;(bxaabbaxp 其它其它,0;,)(1),(bxaabbaLin例例4 4设nxx,1babaUX,;,未知，是一个样本值ba,求的极大似然估计量.解解 设X的概率密度为：似然函

17、数为35,)()1(bxxan等价于等价于因为因为,1bxxan),min(1)1(nxxx),max(1)(nnxxxminabmax),(baLnnnxxabbaL)(1)(1),()1()()()1(,nxbxa对于满足对于满足的的任意任意有有ba,()(1)1()nnxx即即时时,取最大值取最大值),(baL在在)()1(,nxbxa 其它,0;,)(1),(bxaabbaLin似然函数为似然函数为36,max,min)()1(inixxbxxa,max,miniiXbXa ba,故故的极大似然估计值为:故故ba,的极大似然估计量为:()(1)1()nnxx即时,取最大值),(baL在

18、在)()1(,nxbxa 其它其它,0;,)(1),(bxaabbaLin似然函数为似然函数为371,0:(;)(0)0,xexXp xother今取得一组样本Xk数据如下，问如何估计？162950681001301402702803404104505206201902108001100 某电子管的使用寿命 X（单位：小时)服从指数分布 例例5 指数分布的点估计指数分布的点估计 分析 可用两种方法：矩法估计 和极大似然估计.381）矩法估计01xEXxedx.XX则计为：令可得 的矩法估量数计为：代入具体值可得的估值).(318572318111小时niixn1,0:(;)(0)0,xexXp

19、 xother392）极大似然估计）极大似然估计1.构造似然函数 当xi0,（i=1,2,n)时，似然函数为1111()niiinxxniLee niixnL11lnln2.取对数3.建立似然方程.01ln12 niixndLd1,0:(;)(0)0,xexXp xother405.得极大似然估计量：,11XXnnii 的的估估计计值值为为：代代入入具具体体数数值值可可得得 4.求解得极大似然估计值,11xxnnii ).(318572318111小小时时 niixn.01ln12 niixndLd niiixnxnineexxL11111);,.,(niixnL11lnln4122()221

20、(;,)e2xp x 似然函数为：),(2LniixnnL1222)(21)ln(2)2ln(2ln例例6 6设nxx,122,);,(NX为未知参数，是来自X的一个样本值，求2,的极大似然估计值。解解：X的概率密度为：22()211e2ixni niixne122)(21)21(42解解得：得：xxnnii11niixxn122)(1令令即：即：2110niixn 0ln0ln2LLniixnnL1222)(21)ln(2)2ln(2ln21snn22221n1-()02(2)niix43 注：lnx 是 x 的严格单增函数，lnL 与L有相同的极大值，一般只需求lnL 的极大值.求极大似然

21、估计的求极大似然估计的一般步骤一般步骤：1.写出似然函数 nimin),.,;x(p);x,.,x,x(L12121 nimi),.,;x(plnLln1212.对似然函数取对数ln0,(1,2,.,)iLim 3.对i (i=1,m)分别求偏导,建立似然方程(组)m,.,1解得 分别为 的极大估计值.m,.,144例例7 矩估计与似然估计不等的例子设总体概率密度为(1),01;(,)0,.xxp x其他求参数的极大似然估计,并用矩法估计.解解 1)极大似然估计法1.构造似然函数01)0nniiinxxL xx11(1),;(,.,;,其它niixnL1ln)1ln(ln2.取对数：当 0 x

22、i1,(i=1,2,n)时45niixnL1ln)1ln(ln2.取对数：当 0 xi 1,(i=1,2,n)时3.建立似然方程,0ln1ln1niixndLd4.求解得极大似然估计值为11,lnniinx 5.极大似然估计 量为11.lnniinX(1),01;(,)0,.xxp x其他46,21)1(2)1(10210 xdxxxEX2)矩估计法1,2X计为令可得的矩法估量1212.11XXX471.矩法估计量与极大似然估计量不一定相同；2.用矩法估计参数比较简单,但有信息量损失；3.极大似然估计法精度较高,但运算较复杂；4.不是所有极大似然估计法都需要建立似然方程小小 结结求解.48解解

23、.,0,1次取到合格品第次取到不合格品；第iiXi例例6.不合格品率的矩法估计 分析分析 设总体X 即抽一件产品的不合格产品数，相当于抽取了一组样本X1，X2，Xn,且因 p=EX,故 p 的矩估计量为 设某车间生产一批产品，为估计该批产品不合格品率，抽取了n件产品进行检查.niniAfXnXp1)(1(即出现不合格产品的频率).49不合格品率p 的估计设 总体X是抽一件产品的不合格品数，记 p=PX=1=P产品不合格则 X的分布列可表示为.其它0,0,1;,)(1);(1xpppxPxx 现得到X的一组样本X1，X2，,Xn的实际观察值为 x1,x2,xn,则事件 X1=x1，X2=x2，,

24、Xn=xn例例7 7出现的可能性应最大,其概率为50,.,);,.,(221121nxXxXxXPpxxxLnn 应选取使L(p)达到最大的值作为参数 p 的估计.nixpixpnixiXPii111-)-(11)0,1;0(,1)-(11 pixniixnpniixp.其它0,0,1;,)(1);(1xpppxPxx51,niniiipxnpxpL11)ln(1(ln)(ln,01)(ln11pxnpxdppLdniinii令令解得解得.11nmxxpniin （频率值）（频率值）,)(lnmax)(ln)(max)(1010pLpLpLpLpp注意到注意到52xexp xx()/1,;()

25、0,.其中0，与是未知参数，X1，X2，,Xn，dxeEXxx解解,)(01 dyeyy设总体设总体X的概率密度为的概率密度为是X 的一组样本，求与 的矩估计量.,xy例例8 853令令 .,22MX注意到注意到 DX=E(X2)E(X)2=2 2e)(2dxXExx 0222122)(dyeyy=2+(+)2,)(1212 niinXXM.MX2 54例例 9 均匀分布的极大似然估计均匀分布的极大似然估计 设样本设样本X1，X2，Xn来自在区间来自在区间 0,上均匀分布的总体上均匀分布的总体X,求求 的极大似然估计的极大似然估计.解解 设设x1,x2,xn是是X1,X2,Xn的的样本值，样本

26、值，总总体体的的概概率率密密度度为为1,0()0,xp xelse似然函数为似然函数为55.max1iniX else,0;max,min0,1L11iniininxx 如如图图所示，似然函数所示，似然函数L 在在max1inix 取到最大值，故取到最大值，故的极大似然估计量为的极大似然估计量为56 else,0);1,2,(,0,1);,.,(1nixxxLinn注注 意：意：该似然函数不能通过求导构造似然方程该似然函数不能通过求导构造似然方程.尝试用其他方法求解！尝试用其他方法求解！分析分析 的估计应满足：的估计应满足：2.的值不能小于任何一个的值不能小于任何一个xi.1.的值尽可能小；的值尽可能小；57