1、1 1 参参数数估估计计的的基基本本概概念念 根据样本的观测值，对总体分布律或分布密度根据样本的观测值，对总体分布律或分布密度的未知参数进行估计的理论和方法称为总体分布的未知参数进行估计的理论和方法称为总体分布中未知参数的估计，简称为中未知参数的估计，简称为参数估计。参数估计。(1)当总体分布的类型已知，分布的具体形式当总体分布的类型已知，分布的具体形式依赖于某个实数或实数组依赖于某个实数或实数组时，称时，称为总体参为总体参数或参数。数或参数。2.3总体分布参数的估计总体分布参数的估计第1页，共80页。1.总体总体p是是未知参数未知参数,=p:0 p 1 是参数空间是参数空间.2.总体总体 是
2、是未知参数未知参数,=:0 是参数空间是参数空间.3.总体总体 是是未知参数未知参数,=:0 是参数空间是参数空间.4.总体总体(,2)是是未知参数向量未知参数向量,=(,2):0 是参数空间是参数空间.第2页，共80页。nXXX,)(212是总体的未知参数，是总体的未知参数，当当如如果果将将样样本本观观测测值值是是总总体体的的一一个个样样本本时时，中，中，代入统计量代入统计量),(,nnXXXgxxx2121的的值值，作作为为未未知知参参数数并并用用),(nxxxg21,(),(121Xgxxxgn的的估估计计值值，为为则则称称，的的估估计计量量，都都记记作作为为),nXX2的的点点估估计计
3、。称称为为第3页，共80页。2 用矩法求估计量用矩法求估计量计计量量。的的矩矩估估，称称为为用用矩矩法法得得到到的的估估计计量量的的一一个个样样本本，且且是是总总体体当当XXXXn,21存存在在时时，则则阶阶原原点点矩矩的的),)(21kXEkXk,),(nikikkXnAXE111则则）若若（第4页，共80页。则则）若若（),(kEXEXEXf22).,(kAAAf21特别地，当总体的数学期望与方差存在时，特别地，当总体的数学期望与方差存在时，总体数学期望矩估计量就是样本的均值，总体总体数学期望矩估计量就是样本的均值，总体总体方差的矩估计量就是样本的方差。总体方差的矩估计量就是样本的方差。一
4、般地，矩法估计就是用一般地，矩法估计就是用k阶样本矩去估计阶样本矩去估计k阶阶总体总体矩。矩。第5页，共80页。例例 设从某灯泡厂某天生产的灯泡中随机抽取10只灯泡，测得其寿命为(单位:小时)1050,1100,1080,1120,1200 1250,1040,1130,1300,1200试用矩法估计该天生产的灯泡的平均寿命及寿命分布的方差.解解)(1147101)(101hxxXEii矩.)(6821101)(210122hxxXDii矩第6页，共80页。重要结论重要结论的的一一个个样样本本，是是总总体体设设XXXXn,21未未知知。若若ppBX),()(11;),(,)(XpXEppXE未
5、未知知。若若),()(PX2;),(,)(XXEXE第7页，共80页。未未知知。若若223,),()(NX,)()()(,)(222EXXEXDXE,X2112211)(niiniiXnXn.)(2211SXXnnii第8页，共80页。的的指指数数分分布布，服服从从参参数数为为例例设设总总体体X.,;,)(000 xxexpx的的矩矩估估计计量量。，求求样样本本为为nXXX,210,)(1XE解解,niiXn111令令.XXnnii11第9页，共80页。3.用极大似然法求估计量用极大似然法求估计量 思想方法思想方法：一次试验就出现的 事件有较大的概率 例如:有两外形相同的箱子,各装100个球
6、一箱 99个白球 1 个红球 一箱 1 个白球 99个红球现从两箱中任取一箱,并从箱中任取一球,结果所取得的球是白球.答答:第一箱.问问:所取的球来自哪一箱？第10页，共80页。例例 设总体 X 服从0-1分布,且P(X=1)=p,用极大似然法求 p 的估计值.解解总体 X 的概率分布为1,0,)1()(1xppxXPxx 设 x1,x2,xn为总体样本X1,X2,Xn的样本值,则),(2211nnxXxXxXP)()1(11pLppniiniixnxnixi,2,1,1,0第11页，共80页。对于不同的 p,L(p)不同,见右下图现经过一次试验，),(2211nnxXxXxX发生了，事件则
7、p 的取值应使这个事件发生的概率最大.p 第12页，共80页。在容许范围内选择 p，使L(p)最大 注意到，ln L(p)是 L 的单调增函数,故若某个p 使ln L(p)最大,则这个p 必使L(p)最大。01ddln11令pxnpxpLniiniixxnpnii110)1(dlnd212122pxnpxpLniinii所以xp 为所求 p 的估计值.第13页，共80页。的的一一个个样样本本，是是总总体体设设XXXXn,21总总体体为为样样本本的的观观测测值值，则则当当nxxx,21或或分分布布密密度度的的分分布布律律)(xpxXPX时时，中中含含有有未未知知参参数数)(xp),;()(xpx
8、p记记为为似似然然函函数数，而而称称使使称称nixpL1);()(的的极极大大似似然然为为取取极极大大的的估估计计值值LL)(估估计计值值。一般一般,第14页，共80页。一般步骤：一般步骤：(1)构造似然函数构造似然函数L()；(2)对似然函数取对数，即对似然函数取对数，即lnL()；(3)以以为自变量求为自变量求lnL()的导数或偏导数；的导数或偏导数；(4)令令lnL()的导数或偏导数等于零得到正规的导数或偏导数等于零得到正规方程或方程组；方程或方程组；(5)求出正规方程组的解。求出正规方程组的解。第15页，共80页。的的为为未未知知参参数数，求求设设总总体体例例),(PX极极大大似似然然
9、估估计计量量。,!exxXPXx的的分分布布律律解解,!)(nniixniixexexLniii111第16页，共80页。取对数取对数,)!ln(ln)(lnnxxLniinii11011nxdLdniiln令令.xxnnii11.XXnniiL11第17页，共80页。的的一一个个样样本本，是是总总体体例例设设XXXXn,21的的极极大大似似和和中中未未知知参参数数试试求求22),(N.2LL与与然然估估计计量量分分布布密密度度解解),(2N,)(exp)(22221xxp第18页，共80页。的的分分布布密密度度),(niXi21,)(exp)(22221iixxpniixpL12)(),(,
10、)(exp)(niinx122221第19页，共80页。)ln()ln(ln222nL,)(niix12220)(ln12 niixL 第20页，共80页。,xxnnii11;XL0214222niixnL)(ln,)(niixn1221第21页，共80页。;)(niiLXn1221已已知知时时，当当.)(21221SXXnniiL未未知知时时，当当第22页，共80页。4.评价估计量优劣的标准评价估计量优劣的标准 对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题应该选用哪一种估计量应该选用哪一种估计量?用何标准来评价一个估计量的优劣用何标准来评价一个估计量的优劣?常用常用标准标
11、准(1)无偏性(2)有效性(3)一致性第23页，共80页。(1)无偏性无偏性的的估估计计量量若若未未知知参参数数则当则当为为),(nXXX21)(E的的无无偏偏估估计计量量。为为称称时时代代替替的的无无偏偏估估计计量量显显然然用用未未知知参参数数望望为为零零，即即无无所所产产生生的的误误差差的的数数学学期期系系统统误误差差。第24页，共80页。我们不可能要求每一次由样本得到的估计值与真值都相等，但可以要求这些估计值的期望与真值相等.定义的合理性定义的合理性第25页，共80页。存存在在，数数学学期期望望：若若总总体体前前面面已已证证明明)(XEX).()(XEXE则则存存在在，则则方方差差若若总
12、总体体)(XDX);()(XDnnSE12).()*(XDSE2第26页，共80页。(2)有效性有效性),(),(nnXXXXXX212211和和设设的无偏估计量，如果的无偏估计量，如果都是都是)()(21DD有效。有效。比比则称则称21第27页，共80页。例例 测得自动车床加工的测得自动车床加工的10个零件的尺寸与规个零件的尺寸与规定尺寸的偏差定尺寸的偏差(微米微米)如下：如下：+2，+1，-2，+3，+2，+4，-2，+5，+3，+4.求零件尺寸偏差总体的均值及方差的无偏估计值求零件尺寸偏差总体的均值及方差的无偏估计值解解 有有，微米微米)(2101101iixx).(.)(*210122
13、278591微米微米iixxs第28页，共80页。例例 重要结论重要结论的的一一个个样样本本且且是是总总体体当当XXXXn,21,)(ncccXD210时时，对对任任意意非非负负常常数数都都是是总总体体均均值值求求证证如如果果niiiniiXcc111,在在这这些些估估计计量量中中的的无无偏偏估估计计量量，且且 XXE)(量量。是是方方差差最最小小的的无无偏偏估估计计第29页，共80页。),)()(niXEXEi21解解,11niic且且niiiniiiXEcXcE11)()(),()(XEcXEnii1.)(的的无无偏偏估估计计量量都都是是总总体体均均值值XEXcniii1),)()(niX
14、DXDi21又又第30页，共80页。,)()()(niiniiiniiicXDXDcXcD12121得得及及记记,1112niiniiccf,)(212121211nncccccf个个方方程程由由1n0122121)(niicccccf第31页，共80页。,ncccn1121解解出出,nccnnii111中中，得得到到代代入入量量。是是方方差差最最小小的的无无偏偏估估计计因因此此X第32页，共80页。).(*)*(*1|lim,0:或相合估计或相合估计的一致估计的一致估计为为则称则称有有满足满足统计量统计量 Pn)().(estimaterConsistent一致估计一致估计3,.,.,),(
15、1 nxxxFn若当样本单元数若当样本单元数加工得统计量加工得统计量抽样得抽样得为了确定为了确定为未知参数为未知参数其中其中对于总体分布函数对于总体分布函数定义定义 结论结论1 样本均值样本均值 是总体均值是总体均值的一致估计的一致估计.x结论结论2 在重复抽样的情形下在重复抽样的情形下,样本方差样本方差s2 是总体方差是总体方差2 的一致估计的一致估计.第33页，共80页。引例引例 已知 X N(,1),不同样本算得的 的估计值不同，因此除了给出 的点估计外,还希望根据所给的样本确定一个随机区间,使其包含参数真值的概率达到指定的要求.的无偏、有效点估计为X随机变量常数2.3.62.3.6未知
16、参数的区间估计未知参数的区间估计(interval estimation)第34页，共80页。如引例中，要找一个区间,使其包含 的真值的概率为0.95.(设 n=5)51,NX1,051NXU取05.0查表得1/21.96u第35页，共80页。这说明即称随机区间为未知参数 的置信度为0.95的置信区间.95.05196.15196.1XXP05.096.151XP5196.1,5196.1XX第36页，共80页。反复抽取容量为5的样本,都可得一个区间,此区间不一定包含未知参数 的真值,但包含真值的区间占95%.置信区间的意义置信区间的意义若测得 一组样本值,它可能包含也可能不包含 的真值,反复
17、则得一区间(1.86 0.877,1.86+0.877)抽样得到的区间中有95%包含 的真值.86.1x算得第37页，共80页。221111(,)55X uX u时,区间的长度为21125u 达到最短.2.当置信区间为问题问题2.为何要取1/2u？1.确定后,置信区间是否唯一？n与答复答复1.不唯一.第38页，共80页。23311.84(2.13)3.97uu 2211.96(1.96)3.92uu 231u3u-2-1120.10.20.30.421u2u取 =0.05第39页，共80页。1 区间估计的基本概念区间估计的基本概念未知参数未知参数的区间估计，是要找统计量的区间估计，是要找统计量
18、),(),(nnXXXhXXXg2121和和，使使确确定定区区间间),(hg1hgP机区间机区间是指定的数值，表示随是指定的数值，表示随这里这里1第40页，共80页。(g,h)覆盖未知参数覆盖未知参数的概率，称为的概率，称为置信概率置信概率，(g,h)称为称为的双侧的双侧1-置信区间置信区间，g 称为称为的双侧的双侧1-置信下限置信下限，h 称为称为的双侧的双侧1-置信上限置信上限，使使如如果果要要找找统统计计量量),(nXXXg211gP置置信信区区间间，的的单单侧侧称称为为则则1),(g置置信信下下限限；的的单单侧侧称称为为1g第41页，共80页。使使如如果果要要找找统统计计量量),(nX
19、XXh211hP置置信信区区间间，的的单单侧侧也也称称为为则则1),(h置置信信上上限限。的的单单侧侧称称为为而而1h第42页，共80页。q 反映了估计的可靠度,越小,越可靠.q 置信区间的长度 反映了估计精度,hg 越小,1-越大,估计的可靠度越高,但q 确定后,置信区间 的选取方法不唯一,常选最小的一个.几点说明几点说明越小,估计精度越高.hg这时,往往增大,因而估计精度降低.hg第43页，共80页。求参数置信区间保 证可靠性先先 提 高精 度再再处理“可靠性与精度关系”的原则第44页，共80页。2.一个正态总体均值的置信区间一个正态总体均值的置信区间的的一一个个样样本本为为设设总总体体X
20、NX),(2修修正正标标准准，样样本本均均值值为为,XXXXn21则则有有：差差为为*,S公式公式1的的双双侧侧已已知知时时，均均值值当当2置置信信区区间间的的观观测测值值为为1);,(.nuxnux501501第45页，共80页。),(10Nnx,.1501unxP,.1501unxP即即).,(.nuxnux501501第46页，共80页。置置信信下下限限的的观观测测值值为为的的单单侧侧均均值值1;nux1置置信信上上限限的的观观测测值值为为的的单单侧侧均均值值1.nux1第47页，共80页。公式公式2的的双双侧侧未未知知时时，均均值值当当2置置信信区区间间的的观观测测值值为为1);*,*
21、(.nstxnstx501501.1nt分分布布的的自自由由度度为为置置信信下下限限的的观观测测值值为为的的单单侧侧均均值值1;*nstx1第48页，共80页。置置信信上上限限的的观观测测值值为为的的单单侧侧均均值值1.*nstx1公式公式3的的双双侧侧未未知知时时，方方差差当当2置置信信区区间间的的观观测测值值为为1;)(,)(.25012250112niiniixxxx.12n分分布布的的自自由由度度为为第49页，共80页。置置信信下下限限的的观观测测值值为为的的单单侧侧方方差差12；2112niixx)(置置信信上上限限的的观观测测值值为为的的单单侧侧方方差差12.)(212niixx第
22、50页，共80页。例例 某工厂生产一批滚珠,其直径 X 服从即正态分布 N(2),现从某天的产品中随机(1)若 2=0.06,求 的双侧置信区间及单侧区间(2)若 2未知,求 的双侧置信区间及单侧区间(3)求方差 2的双侧置信区间及单侧区间抽取 6 件,测得直径为15.1,14.8,15.2,14.9,14.6,15.1置信概率均为0.95第51页，共80页。解解(1)6/06.0,(NX)01.0,(N即)1,0(1.0NX20.97511.96uu由给定数据算得由公式(1)得 的置信区间为)15.15,75.14()1.096.195.14,1.096.195.14(95.146161ii
23、xx第52页，共80页。(2)取)5(6tSXT0.975(5)2.5706t查表由给定数据算得95.14x226.0.051.0)6(5126122sxxsii)187.15,71.14()5(6),5(6(025.0025.0tSXtSX由公式(2)得 的置信区间为第53页，共80页。由公式(3)得 2 的置信区间为(3)选取统计量,)5(52222S220.9750.025(5)12.833,(5)0.83122220.9750.02555(,)(0.0199,0.3069)(5)(5)SS查表得.051.02S第54页，共80页。的的一一个个样样本本设设总总体体例例XNX),(2.,.
24、,.,.,.5585456466的的观观测测值值为为置置信信的的双双侧侧，试试求求若若9505012.)(950950.置置信信下下限限和和单单侧侧区区间间、单单侧侧置置信信上上限限。50585512.,.,xn）有有（解解,.0509501，则则置置信信概概率率,.9619750501uu查查表表得得第55页，共80页。,.6519501uu查查表表得得,.619805509619750nu置置信信区区间间的的双双侧侧，得得由由公公式式9501.).,.(206964，置置信信下下限限为为同同理理可可得得单单侧侧065950.。置置信信上上限限为为单单侧侧106950.第56页，共80页。置
25、置信信的的双双侧侧未未知知，试试求求若若95022.)(950950.置置信信下下限限和和单单侧侧区区间间、单单侧侧置置信信上上限限。,.,58552xn）有有（解解,.)(*72201112niixxns,.0509501，则则置置信信概概率率第57页，共80页。分分布布表表得得查查t,.)()(.7762449750501tt,.)()(.1322449501tt置置信信区区间间的的双双侧侧，得得由由公公式式9502.),.,.(486684，置置信信下下限限为为同同理理可可得得单单侧侧894950.。置置信信上上限限为为单单侧侧276950.第58页，共80页。置置信信的的双双侧侧未未知
26、知，试试求求若若95032.)(950950.置置信信下下限限和和单单侧侧区区间间、单单侧侧置置信信上上限限。,.,58553xn）有有（解解,.)(0882512iixx,.0509501，则则置置信信概概率率第59页，共80页。分分布布表表得得查查2,.)()(.11144975025012,.)()(.4804402502502,.)()(.49944950212,.)()(.7104405022第60页，共80页。置置信信区区间间的的双双侧侧，得得由由公公式式95032.),.,.(354190，置置信信下下限限为为同同理理可可得得单单侧侧220950.。置置信信上上限限为为单单侧侧9
27、42950.第61页，共80页。4.两个正态总体均值或方差比的置信区间两个正态总体均值或方差比的置信区间的的一一个个样样本本为为设设总总体体XNX),(211),(,22221NYXXXn，总总体体，两两样样本本的的一一个个样样本本为为mYYYY,21，修修正正标标准准差差与与相相互互独独立立，均均值值为为YX，则则有有与与为为*YXSS第62页，共80页。公式公式4212221已已知知时时，均均值值差差和和当当置置信信区区间间的的观观测测值值为为的的双双侧侧1,(.mnuyx2221501);.mnuyx2221501第63页，共80页。已已知知时时，统统计计量量和和因因为为当当2221),
28、(mnNYX222121).,()()(10222121NmnYX，有有对对给给定定的的置置信信概概率率1第64页，共80页。.)()(.1501222121umnYXP所满足的不等式即可。所满足的不等式即可。解出解出21第65页，共80页。置置信信下下限限的的的的单单侧侧均均值值差差121观观测测值值为为;mnuyx22211置置信信上上限限的的的的单单侧侧均均值值差差121观观测测值值为为.mnuyx22211第66页，共80页。为了比较深圳与武汉地区的经济水平的差异为了比较深圳与武汉地区的经济水平的差异,分别分别在两地区调查了在两地区调查了100人及人及125人人,得到月平均收入为得到月
29、平均收入为:5400(元元)及及2052(元元),样本方差分别为样本方差分别为2456(元元2)及及346(元元2),试问试问1)两地区两地区经济水平的差异至少能差多少？经济水平的差异至少能差多少？2）至多能差）至多能差多少？多少？(置信系数为置信系数为1=0.95).解解:因为因为n1=100,n2=125,大于大于50,为大样本问题为大样本问题.=0.05,U0.975=1.96.246.10125346100245696.12221212/1 nsnsU 33502050540021 xx置信区间为：置信区间为：3339.754，3360.246两地区两地区经济水平的差异至少能差经济水平
30、的差异至少能差3339.754,至多能差至多能差3360.246.第67页，共80页。公式公式5未未知知时时，但但当当222221置置信信区区间间的的的的双双侧侧均均值值差差121观观测测值值为为,)(.mnsmntyxw112501);)(.mnsmntyxw112501第68页，共80页。置置信信下下限限的的的的单单侧侧均均值值差差121观观测测值值为为;)(mnsmntyxw1121置置信信上上限限的的的的单单侧侧均均值值差差121观观测测值值为为.)(mnsmntyxw1121第69页，共80页。分分别别为为式式中中的的ssyssxmnssyssxsw,22SSYSSX与与和和两两个个
31、样样本本的的离离均均差差平平方方的的观观测测值值。第70页，共80页。公式公式6222121未未知知时时，方方差差比比和和当当置置信信区区间间的的观观测测值值为为的的双双侧侧1);*),(*,*),(*(.2502250121111yxyxsmnFssmnFs第71页，共80页。置置信信下下限限的的的的单单侧侧方方差差比比12221观观测测值值为为;*),(*21211yxsmnFs置置信信上上限限的的的的单单侧侧方方差差比比12221观观测测值值为为.*),(*2211yxsmnFs第72页，共80页。它它的的一一个个样样本本设设总总体体例例),(211NX,.,.,.,.,.,.56244
32、2412392352102的的观观测测值值为为它它的的一一个个样样本本的的观观测测值值总总体体),(222NY.,.,.,.712582282032为为2122210900201试试求求，若若,.)(置置信信下下限限置置信信区区间间、单单侧侧的的双双侧侧950950.置置信信上上限限。和和单单侧侧950.第73页，共80页。,.,.,090020462221mn解解,.,.423752yx由由样样本本观观测测值值计计算算出出查查正正态态分分布布表表得得,.,.6519619509750uu,.16070409060202221mn第74页，共80页。置置信信的的双双侧侧计计算算出出由由公公式式
33、950421.），区区间间为为（290340.，置置信信下下限限为为单单侧侧290950.。置置信信上上限限为为单单侧侧240950.212222212未未知知，求求若若,)(置置信信下下限限置置信信区区间间、单单侧侧的的双双侧侧950950.置置信信上上限限。和和单单侧侧950.第75页，共80页。,222146mn解解,.,.423752yx由由样样本本观观测测值值计计算算出出,.,.2800116022yxsmssysnssx,.22202mnssyssxsw,.645011mn第76页，共80页。30622469750.)(.tt分分布布表表得得查查,.)(86018t0.95置置信信
34、的的双双侧侧计计算算出出由由公公式式950521.），区区间间为为（310360.，置置信信下下限限为为单单侧侧290950.。置置信信上上限限为为单单侧侧240950.第77页，共80页。9503222121.,)(的的双双侧侧未未知知，求求若若置置信信下下限限和和单单侧侧置置信信区区间间、单单侧侧950.置置信信上上限限。950.计计算算出出解解,46mn0933002302221.*,.*ss,.),(.914359750Ft分分布布表表得得查查,.),(.01935950F第78页，共80页。,.),(),(.067091415313597500250FF,.),(),(.18480415153135950050FF置置信信的的双双侧侧由由公公式式计计算算出出9502221.），区区间间为为（931020.第79页，共80页。，置置信信下下限限为为单单侧侧030950.。置置信信上上限限为为单单侧侧351950.第80页，共80页。
