1、第七章 参数估计 7.1 点估计点估计7.3 估计量的评价标准估计量的评价标准7.4 区间估计区间估计7.5 正态总体均值与方差正态总体均值与方差区间估计区间估计7.6 （0-10-1）分布参数区间）分布参数区间7.7 单侧置信区间单侧置信区间 作出推断统计就是利用统计量对总体进行统计推断，而此项工作取决于其抽样分布的性质.总体样本统计量描述随机抽样现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.估计废品率估计新生儿的体重估计湖中鱼数 估计降雨量参数估计点估计区间估计假如我们要估计某队男生的平均身高.)1.0,(2 N（假定身
2、高服从正态分布 ）现从该总体选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值 的估计.而全部信息就由这5个数组成.设这5个数是:1.65 1.67 1.68 1.78 1.69 估计 为1.68，这是点估计.估计 在区间1.57,1.84内，这是区间估计.使用什么样的统计量去估计？可以用样本均值;也可以用样本中位数;还可以用别的统计量.问题是:我们知道,服从正态分布,.),(2vXrN的 ,)(XE由大数定律,1|1|lim1 niinXnP自然想到把样本体重的平均值作为总体平均体重的一个估计.22 估计S类似地，用样本体重的方差 .,估计X用样本体重的均值,11niiX
3、nXniiXXnS122)(11样本体重的平均值设 x1,x2,xn 是来自总体 X 的一个样本，我们用一个统计量 的取值作为 的估计值，称为 的点估计（量），简称估计。在这里如何构造统计量 并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：1(,)nxx 其一 是如何给出估计，即估计的方法问题；其二 是如何对不同的估计进行评价，即估 计的好坏判断标准。思考：多个参数7.1 点估计的几种方法 7.1.1 替换原理和矩法估计替换原理和矩法估计 一、矩法估计 替换原理是指用样本矩及其函数去替换相应的总体矩及其函数，譬如：用样本均值估计总体均值E(X)，即 ；用样本方差估计总体方差V
4、ar(X)，即 用样本的 p 分位数估计总体的 p 分位数，用样本中位数估计总体中位数。()E Xx2Var()nXs矩估计法 其基本思想是用样本矩估计总体矩.理论依据:大数定律或格列汶科定理 它是基于一种简单的“替换”思想建立起来的一种估计方法.是英国统计学家K.皮尔逊最早提出的.矩法估计：矩法估计：用样本用样本 k 阶矩作为总体阶矩作为总体 k 阶矩的估计阶矩的估计量量,建立含有待估参数的方程建立含有待估参数的方程,从而解出待估参数从而解出待估参数设待估计的参数为设待估计的参数为k,21设总体的设总体的 r 阶矩存在，记为阶矩存在，记为),()(21krrXE样本样本 X1,X2,X n
5、的的 r 阶矩为阶矩为nirirXnA1111()nrrririA AXn用替换。含未知参数含未知参数 1,2,k 的的方程组。方程组。111212=(A,A,A)=(A,A,A)kkkk可得 未知参数未知参数 1,k 的的矩估计量矩估计量111212(,)(,)kkkk 则111212(,)(,)kkkk 整理成例1 对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下：29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 经计算有
6、 由此给出总体均值、方差和中位数的估计分别为:28.695,0.9185 和 28.6。矩法估计的实质实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理。20.528.695,0.9185,28.6nxsm.,0,221222的矩估计量的矩估计量和和求求一个样本一个样本是是又设又设均为未知均为未知和和但但且有且有都存在都存在和方差和方差的均值的均值设总体设总体 nXXXX 解解)(1XE ,)(22XE ,22 2)()(XEXD 1222,.即用样本用样本K阶矩替换总体阶矩替换总体K阶矩，得到阶矩，得到矩估计量分别为矩估计量分别为,1XA 2122AA niiXXn1221.)(1
7、12 niiXXn例例2 一般不论总体服从什么分布一般不论总体服从什么分布,总体期望总体期望 与方差与方差 2 存在存在,则它们的矩估计量为则它们的矩估计量为11niiXXn2*122)(1SXXnnii例例3 3 设总体设总体 X E(),X1,X2,Xn为总体的为总体的 样样本本,求求 的矩法估计量的矩法估计量.解解()1/,E X1/E(X).即故故1/.X矩思考：矩估计是唯一的吗？其优缺点？用样本用样本1阶矩替换总体阶矩替换总体1阶矩阶矩(1)x0 x1(x)04 设总体其它是例未知参数，求 的矩估计。10Ex(1)x dx 解：12XX112解得解得2E()11 E()可得用样本用样
8、本1阶矩替换总体阶矩替换总体1阶矩阶矩例例5 5 设总体设总体 X U(a,b),a,b 未知未知,求参数求参数a,b 的的 矩法估计量。矩法估计量。解解由于由于12)()var(,2)(2abXbaXE)()var()(22XEXXE即即22212)(baabE(X)2a b222()()122b aa bE X，7-15)(322XAXa矩213(),niiXXXn)(322XAXb矩213().niiXXXn221211=E(X)()niiA XAXE Xn用，替换、解得极大似然估计法 是在总体类型已知条件下使用的一种参数估计方法.它首先是由德国数学家高斯在1821年提出的,GaussF
9、isher然而，这个方法常归功于英国统计学家费歇.费歇在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质.7.1.2 极(最)大似然估计 极大似然法的基本思想极大似然法的基本思想一只野兔从前方窜过一只野兔从前方窜过.是谁打中的呢？是谁打中的呢？某位同学与一位猎人一起外某位同学与一位猎人一起外出打猎出打猎.如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下.你就会想，只发一枪便打中你就会想，只发一枪便打中,猎人猎人命中的概率一般大于这位同学命中的命中的概率一般大于这位同学命中的概率概率.看来这一枪是猎人射中的看来这一枪是猎人
10、射中的.这个例子所作的推断已经体现了极大似然法的这个例子所作的推断已经体现了极大似然法的基本思想基本思想.定义 设总体的概率函数为P(x;)，是参数可能取值的参数空间，x1,x2,xn 是样本，将样本的联合概率函数看成的函数，用L(;x1,x2,xn)表示，简记为L()，称为样本的似然函数。112()(;,)(;)(;)(;)nnLLxxp xp xp x 如果某统计量 满足 则称 是 的极(最)大似然估计，简记为MLE（Maximum Likelihood Estimate）。1(,)nxx()max()LL人们通常更习惯于由对数似然函数lnL()出发寻找 的极大似然估计。当L()是可微函数
11、时，求导是求极大似然估计最常用的方法，对lnL()求导更加简单些。思考：多个参数时极大似然估计如何做？思考：多个参数时极大似然估计如何做？答：此时似然函数为答：此时似然函数为11(,;,)nkL xx111(,)(,)nkikiLf x使似然函数取得最大值使似然函数取得最大值0),;,(2121knrxxxL为为似然方程组似然方程组。.,),1(21的最大似然估计量求个样本的一是来自设pXXXXpBXn,2121一个样本值一个样本值的的为相应于样本为相应于样本设设nnXXXxxx解解,1,0,)1(1 xppxXPXxx的分布律为的分布律为似然函数似然函数iixnixpppL 11)1()(,
12、)1(11 niiniixnxpp例例6),1ln(ln)(ln11pxnpxpLniinii ,01)(lndd11 pxnpxpLpniinii令令的最大似然估计值的最大似然估计值解得解得 p.11xxnpnii 的最大似然估计量为的最大似然估计量为p.11XXnpnii 这一估计量与矩估计量是相同的。这一估计量与矩估计量是相同的。例例7：设一个试验有三种可能结果，其发生的概设一个试验有三种可能结果，其发生的概率分别为率分别为23221)1(),1(2,ppp现做了现做了n次试验，观察到三种结果发生的次数为次试验，观察到三种结果发生的次数为)(,321321nnnnnnn解：解：由题意得似
13、然函数为由题意得似然函数为232123212222)1(2)1()1(2)()(nnnnnnnnL)1ln()2(ln)2(2ln)(ln23221221nnnnnLnn，求，求 最大似然估计值最大似然估计值将之关于将之关于 求导并令其为求导并令其为0得到似然方程得到似然方程01222321nnnn解得：解得：nnnnnnnn22)(222132121由于由于0)1(22)(ln22322122nnnnL所以所以 是极大似然点是极大似然点例例8 8 设总体设总体 X N(,2),x1,x2,xn 是是 X的样本的样本值值,求求 ,2 的极大似然估计。的极大似然估计。解解),;,(221nxxx
14、Lniixnne1222)(222)()2(1)ln(2)2ln(22)(ln2122nnxLnii222)(121ixnie7-26xxnniimle11niimlexxn122)(1 ,2 的极大似然估计量分别为的极大似然估计量分别为11,niiXXn212)(1nniiSXXn似然似然方程方程组为组为0)(1ln12niixL0)(2)()(21ln)(212222nxLnii7-27 思考思考1)待估参数的极大似然估计是否一定存在待估参数的极大似然估计是否一定存在?2)若存在若存在,是否惟一是否惟一?虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。例如下例。
15、令令例例9（续）（续）.设设X服从服从0,区间上的均匀分布区间上的均匀分布,参数参数0,求求的最大似然估计的最大似然估计.解解:由题意得由题意得:其它其它0 x01);x(fX );x,.,x,x(Ln21 其它其它0 x,.,x,x01n21n dLlnd0n1n 无解无解.基本方法失效基本方法失效.考虑考虑L的取值的取值,要使要使L取值最大取值最大,应最小应最小,n21x,.,x,x0取取)x,.,x,xmax(n21 此时此时,L取值最大取值最大,所以所以,所求最大似然估计为所求最大似然估计为)x,.,x,xmax(n21 应用最大似然估计基本思想应用最大似然估计基本思想:L越大越大,样
16、本观察值越可能出现样本观察值越可能出现.极大似然估计有一个简单而有用的性质：如果 是 的极大似然估计，则对任一函数 g()，其极大似然估计为 。该性质称为极大似然估计的不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。()g概率 的MLE是 ；0.90*xs u3(3)P X*3xs总体0.90分位数 x0.90=+u0.90 的MLE是 ，其中u0.90为标准正态分布的0.90分位数。标准差 的MLE是 ；*s 例10 设 x1,x2 ,xn是来自正态总体N(,2)的样本，则和 2的极大似然估计为 ，于是由不变性可得如下参数的极大似然估计，它们是:22*,xs附录1、思考：多个
17、参数如何估计？2、常用的点估计方法-频率替换法。3、思考：矩估计是唯一的吗？其优缺点？4、极大似然估计思想的举例。5、思考:6、应用：用极大似然法估计湖中的鱼数。1)待估参数的极大似然估计是否一定存在?2)若存在,是否惟一?点估计的思想方法点估计的思想方法 设总体设总体X 的分布函数的形式已知的分布函数的形式已知,但含有但含有一个一个或多个未知参数：或多个未知参数：1,2,k 设设 X1,X2,X n为总体的一个样本。为总体的一个样本。构造构造 k 个统计量：个统计量：),(),(),(21212211nknnXXXXXXXXX随机变量随机变量1 1、思考：多个参数、思考：多个参数如何估计？如
18、何估计？当测得样本值当测得样本值(x1,x2,x n)时时,代入上述方程代入上述方程组，即可得到组，即可得到 k 个数：个数：),(),(),(21212211nknnxxxxxxxxx数数 值值称数称数1,k为未知参数为未知参数1,k的的估计值估计值对应统计量对应统计量 为未知参数为未知参数的的估计量估计量1,k建立建立k个方程：个方程：2、常用的点估计方法、常用的点估计方法q 频率替换法频率替换法利用事件利用事件A 在在 n 次试验中发生的频率次试验中发生的频率/Ann作为事件作为事件A 发生的概率发生的概率 p 的估计量。的估计量。pnnpA7-7例例 设总体设总体X N(,2),在对其
19、作在对其作28 次次 独立观察中独立观察中,事件事件“X 4”出现了出现了21 次次,试试用频率替换法求参数用频率替换法求参数 的估计值。的估计值。解解 由由查表得查表得7-8于是于是 的估计值为的估计值为75.02821)24()4(XP675.024045.3另外，另外，用矩法估计事件发生的概率用矩法估计事件发生的概率p。可得。可得01P1pp解：Ep 1nX,.,X若为一组样本，则nii 11pXXnmnnii 1mX其中表示重复试验中事件发生次数。即可用事件发生的频率来估计概率。即可用事件发生的频率来估计概率。例 设总体服从指数分布，由于EX=1/，即=1/EX，故 的矩法估计为 另外
20、，由于Var(X)=1/2，其反函数为 因此，从替换原理来看，的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。1/x1/Var()X11/s3、思考：矩估计是唯一的吗？其优缺点？矩估计的优点：矩估计的优点：直接、简便直接、简便缺点：缺点：未充分利用分布信息未充分利用分布信息 例例 设设XB(1,p),p未知未知.设想我们事先知道设想我们事先知道p只有两种可能只有两种可能:问问:应如何估计应如何估计p?p=0.7 或或 p=0.3如今重复试验如今重复试验3次次,得结果得结果:0,0,0由概率论的知识由概率论的
21、知识,3次试验中出现次试验中出现“1”的次数的次数),3(pBYk=0,1,2,3knkppkkYP)1(3)(4、极大似然估计思想的举例。将计算结果列表如下：将计算结果列表如下：应如何估计应如何估计p?p=0.7 或或 p=0.3kkppkkYP3)1(3)(k=0,1,2,3p值值 P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.70.027 0.189 0.441 0.343 0.30.343 0.441 0.189 0.027出现出现估计估计出现出现出现出现出现出现估计估计估计估计估计估计0.3430.4410.4410.343如果有如果有p1,p2,pm可供选择可供选择,又如何合
22、理地又如何合理地选选p呢呢?从中选取使从中选取使Qi 最大的最大的pi 作为作为p的估计的估计.i=1,2,m则估计参数则估计参数p为为0ipp 0ipp 时时Qi 最大最大,比方说比方说,当当 若重复进行试验若重复进行试验n次次,结果结果“1”出现出现k次次(0 k n),我们计算一切可能的我们计算一切可能的 P(Y=k;pi)=Qi，i=1,2,m);();(0iipkYPpkYP 如果只知道如果只知道0p1,并且实测记录是并且实测记录是 Y=k(0 k n),又应如何估计又应如何估计p呢呢?注意到注意到是是p的函数的函数,可用求导的方法找到使可用求导的方法找到使f(p)达到达到极大值的极
23、大值的p.但因但因f(p)与与lnf(p)达到极大值的自变量相同达到极大值的自变量相同,故问题可转化为求故问题可转化为求lnf(p)的极大值点的极大值点.=f(p)knkknppCpkYP)1();(nkp 将将ln f(p)对对p求导并令其为求导并令其为0,这时这时,对一切对一切0p0,111)()(niinxL令令niixndLd11ln)(ln求导并令其为求导并令其为0=0从中解得从中解得niixn1ln即为即为 的的MLE.对数似然函数为对数似然函数为niixnL11ln)1(ln)(ln 设设 X U(a ,a+),x1,x2,xn 是是 X的的一个样本一个样本,求求 a 的极大似然
24、估计值。的极大似然估计值。解解由上例可知由上例可知,当当2121maxminaxxa时时,L 取最大值取最大值 1,即即2121minmaxxax 显然显然,a 的极大似然估计值可能不存在，也的极大似然估计值可能不存在，也可能不惟一。可能不惟一。5 5、思考、思考不仅如此不仅如此,任何一个统计量任何一个统计量21),(21)1(21)(xxxxgxnn),(21nXXXg若满足若满足都可以作为都可以作为 a 的估计量。的估计量。7-34思考题：为了估计湖中的鱼数N，第一次捕上r条鱼，做上记号后放回.隔一段时间后,再捕出S条鱼,结果发现这S条鱼中有k条标有记号.根据这个信息，如何估计湖中的鱼数呢？6、应用：用极大似然法估计湖中的鱼数),min(0rSk 第二次捕出的有记号的鱼数X是r.v,X具有超几何分布：,SNkSrNkrkXPSNkSrNkrkXP应取使L(N;k)达到最大的N，作为N的极大似然估计.但用对N求导的方法相当困难,我们考虑比值：把上式右端看作N的函数，记作L(N;k).)1;();(NkXPNkXP)()(kSrNNrNSN经过简单的计算知，这个比值大于或小于1，kSrN或kSrN 而定.由这就是说，当N增大时，序列P(X=k;N)先是上升而后下降;当N为小于 的最大整数时,达到最大值.故N的极大似然估计为kSr.kSr
