第三章统计决策与贝叶斯估计-课件.ppt

1、第三章统计决策与贝叶斯估计第三章统计决策与贝叶斯估计第第3.1节节 统计决策的基本概念统计决策的基本概念第第3.2节节 贝叶斯估计贝叶斯估计第第3.3节节 minimax估计估计第第3.4节节 经验贝叶斯估计经验贝叶斯估计前言前言 20世纪世纪40年代，年代，Wald提出了把统计推断问题看提出了把统计推断问题看成是人与自然的一种博弈过程，由此建立了统计决成是人与自然的一种博弈过程，由此建立了统计决策理论策理论.贝叶斯估计是贝叶斯统计的主要部分，它是贝叶斯估计是贝叶斯统计的主要部分，它是利用决策理论研究参数估计问题利用决策理论研究参数估计问题.本章将主要讨论贝叶斯方法在参数估计中本章将主要讨论贝

2、叶斯方法在参数估计中的应用问题的应用问题.第第3.13.1节节 统计决策的基本概念统计决策的基本概念一、统计决策问题的三个要素一、统计决策问题的三个要素二、统计决策函数及其风险函数二、统计决策函数及其风险函数一、统计决策问题的三个要素一、统计决策问题的三个要素12(,)(,),TnXXXF x设设样样本本来来自自总总体体 在前几章讲的统计问题，都可以归结为一个统在前几章讲的统计问题，都可以归结为一个统计决策问题，也就是建立所谓的统计决策函数计决策问题，也就是建立所谓的统计决策函数.统统计决策问题由三个因素组成，首先来看第一个因素：计决策问题由三个因素组成，首先来看第一个因素：1 1、样本空间和

3、分布族、样本空间和分布族样本空间样本空间,.未未知知，则则样样本本所所有有可可能能值值组组成成的的集集合合称称为为样样本本空空间间，记记为为分布族分布族12(,)(,),TnXXXF x设设样样本本来来自自总总体体121,(,)(,)nniiF x xxF x 未未知知，其其联联合合分分布布为为112*(,),(,)niiTnFF xFXXX 若若记记则则称称为为样样本本的的概概率率分分布布族族，简简称称分分布布族族.例例1(p791(p79例例3.1)3.1)设总体设总体X服从两点分布服从两点分布B(1,p),p为为1201,(,)TnpXXXX 未未知知参参数数，是是取取自自总总体体.的的

4、样样本本，试试求求其其样样本本空空间间以以及及分分布布族族解解由于是两点分布，因而样本的取值只有由于是两点分布，因而样本的取值只有0,1,则则样本空间为样本空间为120 11 2(,):,nix xxxin 分布族为分布族为1111 01 201*),nnxiiiixniFppxinp （2 2、决策空间、决策空间(或称判决空间或称判决空间)决策决策 对每个统计问题的具体回答，就称为一个决策对每个统计问题的具体回答，就称为一个决策.例如，参数的点估计，每一个估计值就是一个决策例如，参数的点估计，每一个估计值就是一个决策.决策空间决策空间 一个统计问题中，可能选取得全部决策一个统计问题中，可能选

5、取得全部决策组成的集合为决策空间，记为组成的集合为决策空间，记为 R.例如，例如，2(,),N 设设总总体体分分布布服服从从对对未未知知参参数数 进进行行(,)(,).估估计计，由由于于 在在中中取取值值，因因而而其其决决策策空空间间为为3 3、损失函数、损失函数例例2(p802(p80例例3.2)3.2)某厂打算根据各年度市场的销售来某厂打算根据各年度市场的销售来决定下一年度应该扩大生产还是缩减生产，或者维决定下一年度应该扩大生产还是缩减生产，或者维持原状，这样其决策空间为持原状，这样其决策空间为 扩扩大大生生产产，缩缩减减生生产产，维维持持原原状状 通常情况下，做任何决策以后，总会有某种后

6、果，通常情况下，做任何决策以后，总会有某种后果，由此可以带来某种收益和损失由此可以带来某种收益和损失.为了以数量化的方式描为了以数量化的方式描述这种收益和损失，为此需要引入损失函数述这种收益和损失，为此需要引入损失函数.例例3(p803(p80例例3.3)3.3)1(,),XN设设总总体体 服服从从正正态态分分布布为为未未知知(,)参参数数，参参数数空空间间为为，决决策策空空间间可可以以设设(,),为为=此此决决策策问问题题的的损损失失函函数数可可以以为为：21()(,)()dLdd设设 为为 的的点点估估计计值值，损损失失函函数数可可以以设设为为12122112122011(),(,)(),

7、(,)(),ddd dLdddddLdIdd 设设为为 的的区区间间估估计计值值，损损失失函函数数可可以以 设设为为也也可可以以设设为为常见的损失函数常见的损失函数(1)线性损失函数线性损失函数01(),(,)(),kddLdk dd 0101,k kkk 其其中中为为常常数数，它它们们可可以以反反映映大大于于或或小小于于参参数数时时带带来来不不同同的的损损失失.当当时时 (,)|-|.Ldd （）此此损损失失函函数数为为绝绝对对损损失失函函数数(2)平方损失函数平方损失函数2 (,)()Ldd (3)凸损失函数凸损失函数(,)()(|)LdWd 0000()()().W ttW 其其中中是是

8、 的的已已知知函函数数，且且有有限限，是是上上的的单单调调非非降降函函数数且且(4)多元二次损失函数多元二次损失函数当当参参数数 以以及及决决策策的的d d为为多多维维向向量量时时，二二次次损损失失为为 (,)()()TLddA d 12121(,),(,),.TTppdd ddApppA 其其中中为为阶阶正正定定矩矩阵阵，为为大大于于 的的自自然然数数当当 为为对对角角矩矩阵阵时时，12(,),pAdiagp 即即则则 元元损损失失函函数数为为21 (,)()piiiiLdd 注注由于在统计问题中，进行的统计推断总是有误差，由于在统计问题中，进行的统计推断总是有误差，因而损失一定存在，因而一

9、般都会假设损失函数为非因而损失一定存在，因而一般都会假设损失函数为非负的负的.二次损失为参数点估计常用的损失函数二次损失为参数点估计常用的损失函数.二、统计决策函数及其风险函数二、统计决策函数及其风险函数1.统计决策函数统计决策函数给给定定统统计计决决策策问问题题的的三三要要素素后后，在在损损失失小小的的前前提提下下，选选择择一一个个好好决决策策函函数数就就成成为为核核心心问问题题.定义定义3.13.1 ()d x 定定义义在在样样本本空空间间 上上，取取值值于于决决策策空空间间内内的的函函数数，称称为为统统计计决决策策函函数数，简简称称为为决决策策函函数数.注注决策函数其实就是决策问题的一个

10、决策函数其实就是决策问题的一个“行动方案行动方案.对于统计问题而言，决策函数为统计量对于统计问题而言，决策函数为统计量.例例4(p82)4(p82)22(,),XN 设设总总体体 服服从从正正态态分分布布为为已已知知,12(,.TnXXXX)取取自自 的的样样本本，试试求求参参数数 点点估估计计和和区区间间估估计计的的决决策策函函数数解解根根据据上上一一章章的的结结论论，参参数数 点点估估计计的的决决策策函函数数为为11()niid xxxn 参参数数 区区间间估估计计的的决决策策函函数数为为22(),d xxuxunn 2.风险函数风险函数由于损失函数由于损失函数L与决策函数与决策函数d(x

11、)有关有关,而决策函数而决策函数是随机变量，因而损失函数也为随机变量。这样损失函是随机变量，因而损失函数也为随机变量。这样损失函数与样本数与样本X的取值有关，因而需要构造一个更好的指标的取值有关，因而需要构造一个更好的指标来衡量决策函数的好坏来衡量决策函数的好坏.这就是风险函数这就是风险函数.定义定义3.2*,F 设设样样本本空空间间和和分分布布族族分分别别为为 和和决决,(,)(),Ldd X 策策空空间间为为损损失失函函数数为为，决决策策函函数数为为()(,)d XRd则则参参数数 的的决决策策函函数数引引起起的的风风险险函函数数为为定定义义为为12(,)(,()(,(,)nRdELd X

12、ELd XXX 注注由定义可以看到，风险函数是决策由定义可以看到，风险函数是决策d的平均损失的平均损失.从定义可以看到，风险越小，决策越好从定义可以看到，风险越小，决策越好,由此可以给出由此可以给出判断决策函数优良性准则判断决策函数优良性准则.定义定义3.312()()d XdX 设设和和为为统统计计决决策策问问题题的的两两个个决决策策函函数数，若若其其风风险险函函数数满满足足不不等等式式12(,)(,),RdRd 121212(,)(,)(,)(,),.RdRdddRdRd 且且存存在在一一些些 使使得得不不等等式式严严格格成成立立，即即，则则称称决决策策函函数数 一一致致优优于于，如如果果

13、等等式式成成立立即即，则则二二者者等等价价定义定义3.4()Dd X 设设是是一一切切定定义义在在样样本本空空间间*()(),(),dXdXDd XD 上上取取值值于于决决策策空空间间上上的的决决策策函函数数的的全全体体，若若存存在在一一个个决决策策函函数数使使得得对对任任意意一一个个都都有有*(,)(,),RdRd *()dX则则称称决决策策函函数数为为一一致致最最小小风风险险决决策策函函数数，或或称称为为一一致致最最有有决决策策函函数数.注注从上述定义可以看到，决策函数的优良性与损失从上述定义可以看到，决策函数的优良性与损失函数有关，因而优良性会因损失函数而变化函数有关，因而优良性会因损失

14、函数而变化.例例5(p835(p83例例3.4)3.4)1(,),XN设设总总体体 服服从从正正态态分分布布为为未未知知12(,)(,TnXXXX 参参数数，参参数数空空间间为为，)取取自自 的的样样本本，若若选选取取损损失失函函数数为为平平方方损损失失2(,)()Ldd()?d X试试求求参参数数 任任一一估估计计的的风风险险函函数数解解根据风险函数的定义可知根据风险函数的定义可知2(,)(,()()RdELd XE d (),E d X 若若则则其其风风险险函函数数为为2(,)()()RdEdE dDd X 1(),(,)(),d XXRdD Xn若若则则111(),(,)(),d XXR

15、dD X 若若则则11.nXX 显显然然，当当时时，后后者者的的风风险险大大于于前前者者的的风风险险，因因而而在在平平方方损损失失的的条条件件下下优优于于例例6(p846(p84例例3.5)3.5)12,xx 设设 和和 是是从从下下列列分分布布中中获获得得两两个个观观察察值值110 5.,P XP XR 12(,)(,TnXXXX 决决策策空空间间为为，)取取自自的的样样本本，若若选选取取损损失失函函数数为为110,(,)(),dLdI dd 12121121231121221,-,?-,xxddxxxxxdxxx 试试求求参参数数 的的估估计计的的风风险险函函数数 解解根据风险函数的定义可知根据风险函数的定义可知1111111(,)()()RdI dP dI dP d 2211110 5(,).RdP dP x 331211110 25(,).RdP dP xxx 或或312ddd显显然然，一一致致优优于于 和和，这这个个优优良良性性依依赖赖于于损损失失函函数数以以及及决决策策函函数数的的范范围围.1112110 5.P dP dP xx 再再 见见