第一章-先验分布与后验分布-PPT课件.ppt

1、1第一章 先验分布与后验分布2一、统计推断中可用的一、统计推断中可用的三种信息三种信息 二、贝叶斯二、贝叶斯公式公式三、三、共轭先验分布共轭先验分布四、四、超参数及其确定超参数及其确定五、五、多参数模型多参数模型六、六、充分统计量充分统计量第一章第一章 先验分布与后验分布先验分布与后验分布31.总体信息：总体分布或所属分布族提供给我们的信息 2.样本信息：从总体抽取的样本提供给我们的信息 3.先验信息：在抽样之前有关统计推断的一些信息。 1.1 统计推断中可用的三种信息统计推断中可用的三种信息 41.2 贝叶斯公式贝叶斯公式 贝叶斯统计学的基础是著名的贝叶斯公式，它是英国学者贝叶斯（T.R.B

2、ayes17021761）在他死后二年发表的一篇论文论有关机遇问题的求解中提出的。经过二百年的研究与应用，贝叶斯的统计思想得到很大的发展，目前已形成一个统计学派贝叶斯学派。为了纪念他，英国历史最悠久的统计杂志Biometrika在1958年又全文刊登贝叶斯的这篇论文。5一、贝叶斯公式的三种形式一、贝叶斯公式的三种形式 初等概率论中的贝叶斯公式是用事件的初等概率论中的贝叶斯公式是用事件的概率形式给出的。可在贝叶斯统计学中应用概率形式给出的。可在贝叶斯统计学中应用更多的是贝叶斯公式的密度函数形式。更多的是贝叶斯公式的密度函数形式。1.贝叶斯公式的事件形式：贝叶斯公式的事件形式： 假定假定 是互不相

3、容的事件，它是互不相容的事件，它们之和们之和 包含事件包含事件B，即，即 ，则有：，则有： kAA,1kiiA1kiiAB1kiiiiiiABPAPABPAPBAP1)/()()/()()/(6假设假设 随机变量X有一个密度函数p(x;)，其中是一个参数，不同的对应不同的密度函数，故从贝叶斯观点看，p(x;)是在给定后的一个条件密度函数，因此记为p(x)更恰当一些。这个条件密度能提供我们的有关的信息就是总体信息。假设假设 当给定后，从总体p(x)中随机抽取一个样本X1，Xn，该样本中含有的有关信息。这种信息就是样本信息。 2.贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式： 在给出贝叶斯公式

4、的密度函数形式之前，先介绍以下贝叶斯学派的一些具体思想或者叫着基本假设 ：7假设假设 从贝叶斯观点来看，未知参数是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用()表示。（1） 先验分布先验分布定义1 将总体中的未知参数看成一取值于的随机变量，它有一概率分布，记为()，称为参数的先验分布先验分布。（2） 后验分布后验分布 在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本X1，Xn，和参数的联合密度函数： )(),(),(11nnxxpxxh8 在这个联合密度函数中。当样本 给定之后，未知的仅是参数了，我们关心的是

5、样本给定后，的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数：nXX,1dxxpxxpxxmxxhxxnnnnn)(),()(),(),(),(),(11111这就是贝叶斯公式的密度函数形式，其中称为的后验密度函数，或后验分布。而 ：),(1nxx dxxpxxmnn)(),(),(11是样本的边际分布，或称样本 的无条件分布，它的积分区域就是参数的取值范围，随具体情况而定。nXX,193.贝叶斯公式的离散形式： 当 是离散随机变量时，先验分布可用先验分布列(i)，这时后验分布也是离散形式： 假如总体X也是离散的，则只须将p(x|)换成P(X=x|)即可。 , 2 , 1)()|(

6、)()|()|(ixpxpxjjjiii，10 前面的分析总结如下：人们根据先验信息对参数已有一个认识，这个认识就是先验分布()。通过试验，获得样本。从而对的先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布 。后验分布是三种信息的综合。获得后验分布使人们对的认识又前进一步，可看出，获得样本的的效果是把我们对的认识由()调整到 。所以对的统计推断就应建立在后验分布 的基础上。),(1nxx ),(1nxx ),(1nxx 二、后验分布是三种信息的综合11例1.4 设事件A的概率为 ，即 。为了估计 而作n次独立观察，其中事件A出现次数为X，则有X服从二项分布 即)(A

7、),(nb., 1 , 0,)1 ()(nxCxXPxnxxn 解题步骤：1.作贝叶斯假设。如果此时我们对事件A的发生没有任何了解，对 的大小也没有任何信息。在这种情况下，贝叶斯建议用区间（0，1）上的均匀分布作为的先验分布。因为它在（0，1）上每一点都是机会均等的。因此：others, 010, 1)( 2.计算样本X与参数 的联合分布：),(xh10, 1 , 0,)1 (nxCxnxxn此式在定义域上与二项分布有区别。如何求出后验分布？12nxnxnxCdxhxmxn, 1 , 0,)2() 1() 1(),()(10 10 ,)1 () 1() 1()2()(xnxxnxnx) 1,

8、1(xnxBeX即： 5.具体算例。拉普拉斯计算过这个概率,研究男婴的诞生比例是否大于0.5?如抽了251527个男婴,女婴241945个。他选用U(0，1)作为的先验分布，于是可得的后验分布Be(x+1,n-x+1), 其中n=251527+241945=493472，x=251527。由此拉普拉斯计算了“0.5”的后验概率：故他断言男婴诞生的概率大于0.5。425 . 001015. 1)1 () 1() 1()2()/5 . 0( dxnxnxPxnx4.利用贝叶斯公式可得 的后验分布：3.计算X的边际密度为:13注：1.伽玛分布与贝塔分布简介：0, 0, 10 ,)1 ()()()()

9、,;(11qpqpqpqppqp 0, 0,)()()(),(0, 0,)1 (),(!) 1(, 0,)(101101qpqpqpqpBqpdxxxqpBnnsdxexsqpxs定义：定义在0，1上，且用密度函数：表示的概率分布称为型分布，记为(p,q)或者e(p,q)。 142.特例：当p=q=1时， (1,1)型分布即为区间0，1上的均匀分布； 当p=q=1/2， (1/2,1/2)型分布称为反正弦分布，密度函数为：设 ，则 的密度函数为：10,)1 (1)(xxxxp ) 1 , 0(Uxi10,)1 ()!()!1(!)(1xxxknknxpknk即：) 1,()( knkxIk )

10、(kx3.数字特征:153.为什么将贝塔分布作为的先验分布族是恰当的？ (1)参数是废品率，它仅在（0，1）上取值。因此，必需用区间（0，1）上的一个分布去拟合先验信息。分布正是这样一个分布。 (2)分布含有两个参数p与q，不同的p与q就对应不同的先验分布，因此这种分布的适应面较大。 (3)样本X的分布为二项分布b(n,)时，假如的先验分布为分布，则用贝叶斯估计算得的后验分布仍然是分布，只是其中的参数不同。这样的先验分布(分布)称为参数的共轭先验分布。选择共轭先验分布在处理数学问题上带来不少方便。16例1.5 投资决策问题 为了提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资1

11、00万元，但从投资效果看，下属部门有两种意见：n 1 ：改进生产设备后，高质量产品可占90%n 2 ：改进生产设备后，高质量产品可占70%问：公司经理怎样决策？注：根据过去的经验知：1的可信度为40%，2的可信度为60%171.3 共轭先验分布共轭先验分布一、共轭先验分布共轭先验分布 定义2 设 是总体分布中的参数（或参数向量）， ()是 的先验密度函数，假如由抽样信息算得的后验密度函数与()有相同的形式，则称()是 的（自然）共轭先验分布。 注意：共轭先验分布是对某一分布中的参数而言的。如正态均值、正态方差、泊松均值等。离开指定参数及其所在的分布去谈论共轭先验分布是没有意义的。 18(2)确

12、定先验分布:例例1.6 1.6 证明：正态均值（方差已知）的共轭证明：正态均值（方差已知）的共轭先验分布是正态分布。先验分布是正态分布。证明思路：(1)写出样本的似然函数:19(3)计算后验分布:2021补充例题：补充例题： 设设X表示人的胸围，根据经验，胸围是近表示人的胸围，根据经验，胸围是近似服从正态分布的。现测量了似服从正态分布的。现测量了n=10000个个人的胸围，得样本均值为人的胸围，得样本均值为39.8(cm)，样本样本方差为方差为4，假设，假设的先验分布为的先验分布为N(38,9)，求求的后验分布。的后验分布。(答案：答案： N(39.8,1/2500)说明：样本较大时，似然函数

13、起决定作用，先验信息几乎不起做用。22二、怎样简化后验分布的计算二、怎样简化后验分布的计算 省略常数因子 n 在给定样本分布p(x|)和先验分布()后可用贝叶斯公式计算的后验分布：()= p(x|) ()/m(x)，由于m(x)不依赖于，在计算的后验分布中仅起到一个正则化因子的作用。假如把m(x)省略，把贝叶斯公式改写成如下等价形式：n其中符号“ ”表示两边仅差一个常数因子，一个不依赖于的常数因子。上式右端称为后验分布 的核。)()|()|( xpx )|(x23利用后验分布的核重新证明例1.624例例1.7 1.7 证明：二项分布的成功概率证明：二项分布的成功概率 的共轭先验分布是的共轭先验

14、分布是贝塔分布。贝塔分布。证明：设总体 Xb(n, ),则xnxnb)1 (),( 。再设的先验分布为贝塔分布,即11)1 (),( e，其中参数已知。由此可写出的后验分布： 10,)1 ()|(11 xnxx 这是贝塔分布的核，其密度函数为： 10,)1 ()()()()|(11 xnxxnxnx 25三、共轭先验分布的优缺点三、共轭先验分布的优缺点 共轭先验分布在很多场合被采用，因为它有共轭先验分布在很多场合被采用，因为它有两个优点：两个优点：（1）计算方便。）计算方便。（2）后验分布的一些参数可得到很好的解释。）后验分布的一些参数可得到很好的解释。不足：怎样找到合适的先验分布？不足：怎样

15、找到合适的先验分布？26例1.8 例1.6中后验均值与后验方差的合理解释。n由例1.6知n 其中 是用方差倒数组成的权，于是后验均值 是样本均值与先验均值 的加权平均。n而 可解释为：后验分布的精度是样本均n值分布的精度与先验分布精度之和，增加样本量n或减少先n验分布方差都有利于提高后验分布的精度。)1 (2202220202202201xxxAB22020122220211111n27例例1.9 1.9 对例对例1.71.7中后验分布的均值和方差的解释。中后验分布的均值和方差的解释。 分析：后验分布分析：后验分布Be(+xBe(+x, , +n-x+n-x) )的均值和方差可写为：的均值和方

16、差可写为：282930四、四、 常用的一些共轭先验分布常用的一些共轭先验分布 共轭先验分布选取的一般原则：共轭先验分布选取的一般原则：是由似然函数是由似然函数L()=p(x|)中所含的因式所中所含的因式所决定的，即选与似然函数具有相同核的分布作决定的，即选与似然函数具有相同核的分布作为先验分布。为先验分布。例例1.10 设设 是来自正态分布是来自正态分布 的的一个样本观测值，其中一个样本观测值，其中已知，求已知，求 方差的共方差的共轭先验分布。轭先验分布。nxx,1),(2 N2 31解题的基本思路：解题的基本思路：写出样本的似然函数：么分布具有这种形式的核呢？323334常用的一些共轭先验常

17、用的一些共轭先验分布分布总体分布参数共轭先验分布后验分布的期望正态分布均值正态分布正态分布方差倒分布IGa(a,b)二项分布 成功概率 分布Poisson分布 均值 分布Ga(a,b)指数分布均值的倒数 分布Ga(a,b),(2N2222x),(pnb),(banxbaxa)(1bxa),(2N),(2N351.4 超参数及其确定超参数及其确定n一、超参数的定义：先验分布中所含的未知参数称为超参数n二、估计方法：共轭先验分布是一种有信息的先验分布，故其中所含的超参数应充分利用各种先验信息来确定它，下面用一个例子来介绍目前国内外文献中对超参数的估计方法：n 问题：二项分布中成功概率的共轭先验分布

18、是贝塔分布Be(,)，怎样确定两个超参数和？361.利用先验矩：利用先验矩：22) 1()( S )1 ()1 (22S372.利用先验分位数：n假如根据先验信息可以确定贝塔分布的二个分位数，则可用这两个分位数来确定与，譬如用两个上、下四分位数U与L来确定与，U与L分别满足如下二个方程：n从这两个方程解出与即可确定超参数。25. 0)1 ()()()(25. 0)1 ()()()(111011ULdd383.利用先验矩和先验分位数n假如根据先验信息可获得先验均值 和p分位数 ，则可列出下列方程：n n由此可解出与的估计值。4.其它方法pdp11)1 ()()()(p39 1.5 1.5 多参数

19、模型多参数模型n由以上几节内容可知，求某一个参数的后验分布的基本思想可概括为：先根据先验信息给出参数的先验分布，然后按贝叶斯公式算得后验分布，即：n n但在很多实际问题中却包含有多个未知参数的情形，如正态分布、多项分布以及多元正态分布等，此时可采用与单参数相似的方法来求参数的后验分布，而把其它的参数看成是讨厌参数。)()|()|()()|(xpxxp的的后后验验密密度度参参数数先先验验密密度度总总体体的的密密度度函函数数40例例1.12 1.12 试求正态均值与正态方差的（联合）试求正态均值与正态方差的（联合） 共轭先验分布及后验分布。（共轭先验分布及后验分布。（P24P24）1. 1.取先验

20、分布为取先验分布为 的的情形情形2. 2.关于指数分布族的关于指数分布族的若干结论若干结论3. 3.取先验分布为共轭先验分布的取先验分布为共轭先验分布的情形情形221),( 411. 1.取先验分布为取先验分布为 的情形的情形221),( 42(2)方差2 的后验边际分布： 2122222122122221212222exp)(21exp22exp)(21exp)|,()|( SdxnnSdxnSdxx 43(3)均值 在给定2 之后的后验条件密度 由 ),|()|()|,(222xxx 及 2212122)(21exp)()|,( xnSx 212222exp)|( Sx 所以 222122

21、)(2exp),|(xn x 即 )/,(,|22nxN x backback443. 3.取先验分布为共轭先验分布的情形取先验分布为共轭先验分布的情形(1)求 的共轭先验密度(2)求 的后验边际密度(3)求给定 后 的条件后验密度函数 例题),(22 ),|(2x45 例 有一实验站关于生长小麦的经验为每块样地的均值和标准差分别为100及10的正态分布，现在他们研究施加激素的影响。在12块地施加激素后所得产量如下(单位：千克)：141,102,73,171,137,91,81,157,146,69,121,134关于方差的信息是均值、标准差分别约为300及160；关于均值的信息是均值约为11

22、0，约为15即相当于观测了15个观测值。求: (1) 的共轭先验； (2) 的后验密度函数； (3) 的边际后验； (4) 对 已知情况下的条件后验密度函数。),(2 ),(2 2 backback46 1.6 1.6 充分统计量充分统计量一、经典统计中充分统计量的回顾一、经典统计中充分统计量的回顾 充分性是数理统计中最重要的概念之一，也是数理统计这充分性是数理统计中最重要的概念之一，也是数理统计这一学科特有的基本概念之一。它是一学科特有的基本概念之一。它是FisherFisher在在19251925年提出的。年提出的。 充分性的直观定义：不损失信息的统计量。充分性的直观定义：不损失信息的统计

23、量。 引例：研究某个运动员的打靶命中率引例：研究某个运动员的打靶命中率 ，我们对该运动员我们对该运动员进行进行1010次测试，发现除第三、六次没有命中外，其余次测试，发现除第三、六次没有命中外，其余8 8次都命次都命中，这样的结果包含了哪些信息？中，这样的结果包含了哪些信息？ （1 1）打靶）打靶1010次命中次命中8 8次；次； （2 2）2 2次不命中分别出现在第次不命中分别出现在第3 3次和第次和第6 6次打靶上。次打靶上。 概率分析概率分析：47定义定义：设：设 是来自分布函数是来自分布函数F(x|F(x|) )的一个样本，的一个样本，T=T=T(xT(x) )是统计量，假如在给定是统

24、计量，假如在给定T(xT(x)=t)=t的条件下，的条件下，x x的条件分布与的条件分布与 无关的话，则称该统计量为无关的话，则称该统计量为 的充分统计量。的充分统计量。 充分统计量的一个重要特性：当得到充分统计量充分统计量的一个重要特性：当得到充分统计量T T的某个取的某个取值值t t之后，而失去原样本的观察值也没有关系。因为我们可以根之后，而失去原样本的观察值也没有关系。因为我们可以根据上述的条件分布来构造某个随机试验，从中获得来自总体的据上述的条件分布来构造某个随机试验，从中获得来自总体的一个新样本，这个新样本虽不能完全恢复老样本的原状，但它一个新样本，这个新样本虽不能完全恢复老样本的原

25、状，但它与老样本所含的有关参数与老样本所含的有关参数 的信息是一样的。的信息是一样的。例题例题1 1 设总体为二点分布设总体为二点分布b(1, )b(1, )， 为样本，令为样本，令 求在给定求在给定T T的取值后，的取值后，X X的条件分布。的条件分布。),(1nxx xnxx,1niixT148 因子分解定理因子分解定理：一个统计量：一个统计量T(xT(x) )对参数对参数 是充分的是充分的充要条件是：存在一个充要条件是：存在一个t t与与 的函数的函数g(t,g(t,) )和一个样本和一个样本x x的的函数函数h(xh(x) )，使得对任一样本，使得对任一样本x x和任意和任意 ，样本的

26、联合密度，样本的联合密度p(x|p(x|) )可表示为它们的乘积，即：可表示为它们的乘积，即： p(x|p(x|)= )= g(T(x),g(T(x),) ) h(xh(x) ) 这个定理表明：假如存在充分统计量T(x)，则样本分布p(x x|)一定可以分解为两个因子的乘积：一个是与无关，仅与样本x有关；另一个是可以与有关，但与样本x的关系仅仅通过充分统计量T(x)表现出来。49二、贝叶斯统计中充分统计量的有关结论及应用 贝叶斯统计中充分统计量与经典统计中充分统计量的概念是一致的。定理定理1.11.1 设 是来自密度函数p(x|)的一个样本，T=T(x x)是统计量，它的密度函数为p(t|),

27、又设H H=()是的某个先验分布族，则T(x x)为的充分统计量的充要条件是对任一先验分布()H H，有： (| T(x x)= (| x x)即用样本分布p(x|)算得的后验分布与用统计量T(x x)算得的后验分布是相同的。),(1nxx x50例题1.14 验证定理1.1及其它的含义515253n关于定理1.1的两点说明：n1.定理1.1所给出的条件是充分必要的，所以定理1.1的充要条件可以作为充分统计量的贝叶斯定义。n2.假如已知统计量T(x)是充分的，那么按定理1.1，其后验分布可用该统计量的分布算得，由于充分统计量可以可简化数据、降低维数，故定理1.1亦可用来简化后验分布的计算。例1

28、.15 用充分统计量计算正态分布N(,1)中参数的后验分布。（自学）54补充内容：指数分布族及其先验分布补充内容：指数分布族及其先验分布(1)(1)单参数指数分布族的定义单参数指数分布族的定义设总体设总体X X或或X|X|的分布密度的分布密度 为：为：)()(exp)()()|( xthxgxp其中其中 为一般的函数记号为一般的函数记号 ,thg)|( xp则称则称 属于指数分布族。属于指数分布族。)|( xp如，正态分布如，正态分布 当当 已知时，由已知时，由),(2 N2 2222221222212exp2exp2exp2)(21exp2)|( xxxxp因此它属于指数分布族。因此它属于指

29、数分布族。55 Be(,Be(,) )中中,一个已知，一个未知时都属于指数一个已知，一个未知时都属于指数分布族。因此，指数分布族是一类非常广泛的分布分布族。因此，指数分布族是一类非常广泛的分布族。族。 显然，显然， 当当 已知，已知， 未知时，也是单参数未知时，也是单参数 的指数分布族。的指数分布族。),(2 N2 2 又如，泊松分布也属于指数分布族，因为：又如，泊松分布也属于指数分布族，因为：xxxp)(lnexpexp!1)|( 另外，二项分布也属于指数分布族，因为：另外，二项分布也属于指数分布族，因为： 1lnexp)1 ()|(xCxpnxn类似的还有类似的还有gammagamma分布

30、，分布，betabeta分布。分布。56(2)(2)指数分布族中的参数指数分布族中的参数 的共轭先验密度的共轭先验密度若若X|X|的分布属于指数分布族：的分布属于指数分布族：)()(exp)()()|( xthxgxp故似然函数故似然函数 ( (其中其中 为为i.i.di.i.d. .的样本的样本) )为为),(1nxx x)|(x l)()(exp)()|( inxthlx)(exp)()( h)(exp)( h则共轭先验密度则共轭先验密度 为：为：即指数分布族的共轭族即指数分布族的共轭族 为：为：)( 57(3)(3)两参数指数分布族及其共轭先验族两参数指数分布族及其共轭先验族:,);,|

31、(皆未知，若设 xpX),()(),()(exp),()(),|( xuxthxgxp则称则称X X的分布属于两参数指数族。的分布属于两参数指数族。),(1nxx x若若 为为i.i.di.i.d. .的样本，的样本，X X的分布为两参数的的分布为两参数的指数分布族，则似然函数指数分布族，则似然函数 可写为：可写为：)|,(x l),()(),()(exp),()|,( iinxuxthlx),(),(exp),(),( h共轭先验族共轭先验族 为以下形式：为以下形式：58(4)(4)两参数两参数 的后验及先验的一种求法的后验及先验的一种求法 ,设设 为已知为已知i.i.di.i.d. .的样本的样本x x的关于的关于 的后验，的后验， ,)|,(x X X的模型为的模型为 ， 皆未知，则：皆未知，则：),|( xp ,),|()|()|,(xxx 相应的，也有类似的先验公式，设相应的，也有类似的先验公式，设 为为 的的先验密度，则：先验密度，则：),( ,)|()(),( backback