随机性决策问题的决策准则课件.ppt

1、4 随机性决策问题的决策准则n学习目标：熟练掌握贝叶斯分析方法，深刻了解贝叶斯法的核心思想-用历史数据或新信息来修正事先设定的主观概率，即用后验概率来修正先验概率。4 随机性决策问题的决策准则n4.1 引言n4.2 严格不确定型决策问题的决策准则n4.3 风险型决策问题的决策准则n4.4 贝叶斯定理n4.5 贝叶斯分析n4.6 一种具有部分先验信息的贝叶斯分析法4.3 风险型决策问题的决策准则n,21)(,),(),(21n风险型决策问题的特点：风险型决策问题的特点：决策人虽然无法确知将来的真实自然状态，但他不仅能给出各种可能出现的自然状态 ，还可以给出各种状态出现的可能性，通过设定各种状态的

2、(主观)概率 来量化不确定性。4.3 风险型决策问题的决策准则n(1)最大可能值准则最大可能值准则n(2)贝叶斯准则贝叶斯准则 n(3)贝努利准则贝努利准则n(4)E-V准则准则n(5)不完全信息情况下的决策准则不完全信息情况下的决策准则n(6)优势原则与随机性决策规则优势原则与随机性决策规则(1)最大可能值准则最大可能值准则采用众数原则，即最大可能值准则，以行动ai的后果变量的众数，即ai的各种可能的后果中出现的可能性最大的后果，作为评价ai优劣的数值指标vi。例:最大可能值准则最大可能值准则 例例4.1 决策问题的损失矩阵如表所示。(2)贝叶斯准则贝叶斯准则(3)贝努利准则贝努利准则 按照

3、贝努利（Bernoulli）准则，应该首先确定后果对决策人的实际价值即效用函数，若采用损失，也应该是效用函数的负值；然后再用Bayes原则求最优行动。本章随后所介绍的各种方法，所采用的决策准则实际上都是贝努利准则：使期望效用极大化或者使期望损失极小化。(4)E-V准则准则(均值均值-方差准则方差准则)贝叶斯准则只根据后果均值的大小作决策，显然忽略了风险因素；例:E-V准则(5)不完全信息情况下的决策准不完全信息情况下的决策准则则(6)优势原则与随机性决策规则优势原则与随机性决策规则 优势原则优势原则 当很难准确设定自然状态的概率主观概率时，可采用优势原则。优势原则优势原则 随机策略随机策略随机

4、策略随机策略4.4 贝叶斯定理n第二章讨论了设定自然状态的（主观）概率分布的方法，由于种种原因，设定比较准确的状态的概率分布设定比较准确的状态的概率分布是很困难的事是很困难的事。n一般情况下，决策分析的结果往往对状态的概率分布比较敏感，即自然状态概率分布的小的变化会显著地改变分析结果，因此要提高决策分析的精度就必须设提高决策分析的精度就必须设法提高状态概率分布的估计精度法提高状态概率分布的估计精度。n显然，仅仅依靠决策人的经验作主观的估计，所设定的自然状态的先验分布的精度不可能有很大的改进，因此需要通过随机试验去收集有关自然状态的信息通过随机试验去收集有关自然状态的信息，以便改进所设定的自然状

5、态的概率分布的准确性，从而改善决策分析的质量。4.4 贝叶斯定理n随机试验是广义的，它包括了获取有关信息的一切可能的手段，只要这些信息有助于提高状态概率分布的准确性。例如:n出门是否带伞问题在事先听天气预报；n医生看病时做各种检查、化验；n生产厂家或经销商对商品的市场调查等等n在决策分析中，如何设计随机试验去获取有效信息，如何利用新的信息改进状态概率分布，是非常实际而又重要的环节。利用新的信息，或者说通过信息处理修正原有的观点，是人类最重要的智力活动之一。1)条件概率与全概率公式 2)贝叶斯定理4.4 贝叶斯定理例例4.2 先验概率的修正先验概率的修正 设有A和B两个外形相同、装有足够数量黑白

6、小球的不透明坛子，A坛中装有白球30%，黑球70%；B坛中白球70%，黑球30%。从中任取一坛，作放回摸球12次，观察的记录是摸出白球4次，黑球8次。求所取为A坛的概率。用本例子说明，通过试验和观察，可以修正先验分布，获得关于自然状态的更准确的判断，由此理解贝叶斯定理在决策分析过程中的重要作用。例题解答例题解答例题扩展例题扩展选B坛选A坛(1)(2)10-10(1)(2)-1010选B坛选A坛(1|x)(2|x)10-10(1|x)(2|x)-1010先验概率决策先验概率决策后验概率决策后验概率决策例2：HP公司新医疗设备的键盘生产决策问题HPHigh 0.2MUBDBAMedium 0.5L

7、ow 0.3Fig.2-3 Completed decision tree(pay-off and probability)5510-1525301040205High 0.2Medium 0.5Low 0.3High 0.2Medium 0.5Low 0.3例2：HP公司新医疗设备的键盘生产决策问题n先验概率(Prior probability)nHP公司的类似产品的销售情况历史统计数据如下表:nHP公司估计该新医疗设备的销售情况先验概率如下：p(H)=0.2 p(M)=0.5 p(L)=0.3High(H)Medium(M)Low(L)Sum205030100例2：HP公司新医疗设备的键盘

8、生产决策问题n新信息的获得（New information）nHP公司准备委托一家市场调查公司对新医疗设备的市场销售情况进行预测。n后验概率（Posterior probability）nHP公司如何根据市场调查的结果修正其先验概率？np(H|预测结果)=?np(M|预测结果)=?np(L|预测结果)=?n问题：市场调查公司有几种预测结果？例2：HP公司新医疗设备的键盘生产决策问题n该市场调查公司过去预测的准确性如下表：预测实际hmlSumH181120M540550L332430Sum264430100n问题：如何求出市场调查公司的条件概率？市场调查公司的条件概率n(1)实际销售为High时

9、条件概率？np(预测h|H)=18/20=0.9np(预测m|H)=1/20=0.05np(预测 l|H)=1/20=0.05n(2)实际销售为Medium时条件概率？np(预测h|M)=5/50=0.1np(预测m|M)=40/50=0.8np(预测 l|M)=5/50=0.1n(3)实际销售为Low时条件概率？np(预测h|L)=3/30=0.1np(预测m|L)=3/30=0.1np(预测 l|L)=24/30=0.8（1）如果市场调查公司预测该新产品的销售情况好（预测h）nHP公司该如何修正其先验概率？n已知的条件概率：np(预测h|H)=18/20=0.9np(预测h|M)=5/50

10、=0.1np(预测h|L)=3/30=0.1n求后验概率：np(H|预测h)=?np(M|预测h)=?np(L|预测h)=?后验概率的求解原理:n假设:nA1=high;nA2=medium;nA3=low;nB=预测hn则有:nA1、A2、A3为互不相容事件，且：P(A1)+P(A2)+P(A3)=1，n事件Ai(i=1,2,3)和事件B相关.后验概率的求解原理:n条件概率（conditional probabilities）:nP(B|A1)=0.9nP(B|A2)=0.1nP(B|A3)=0.1n如何求后验概率（posterior probability）:nP(A1|B)=?nP(A2

11、|B)=?nP(A3|B)=?后验概率的求解原理:n根据乘法原理有:nP(A1|B)=P(A1 and B)/P(B)nP(A2|B)=P(A2 and B)/P(B)nP(A3|B)=P(A3 and B)/P(B)n因此，求解后验概率需要知道：n（1）联合概率：P(Ai and B),i=1,2,3,n（2）边缘密度：P(B).获得联合概率P(Ai and B)：n根据乘法原理，有两种方法可以获得联合概率:n(1)P(Ai and B)=P(Ai)P(B|Ai)n(2)P(Ai and B)=P(B)P(Ai|B)n我们选择 公式(1)来计算联合概率，理由是：我们已经知道了P(Ai)和P(

12、B|Ai)，但是不知道P(B)和P(Ai|B).nP(A1 and B)=P(A1)P(B|A1)=0.20.9=0.18nP(A2 and B)=P(A2)P(B|A2)=0.50.1=0.05nP(A3 and B)=P(A3)P(B|A3)=0.3 0.1=0.03获得边缘密度P(B)：n根据全概率公式，如果：（1）A1,A2,An 为两两互不相容事件；（2）且它们构成了一个事件空间S的划分，即P(A1)+P(A2)+P(An)=1，则对于事件空间S中的任意事件B有：)()(.)2()1()|()(.)2|()2()1|()1()(联合概率sumBandAnPBandAPBandAPAn

13、BPAnPABPAPABPAPBP获得后验概率P(Ai|B)：n已知联合概率P(Ai and B)，求后验概率，根据乘法原理：nP(Ai|B)=P(Ai and B)/P(B)=P(Ai and B)/sum P(Ai and B)（1）如果市场调查公司预测该新产品的销售情况好（预测h）p(H)=0.2p(M)=0.5p(L)=0.3p(预测h|H)=0.9p(预测h|M)=0.1p(预测h|L)=0.1p(预测hH)=0.90.2 =0.18p(预测hM)=0.10.5 =0.05p(预测hL)=0.10.3 =0.03p(预测h)=0.18+0.05+0.03=0.26先验概率条件概率联合

14、概率后验概率p(H|预测h)=0.18/0.26 =0.692p(M|预测h)=0.05/0.26 =0.192p(L|预测h)=0.03/0.26 =0.115（2）如果市场调查公司预测该新产品的销售情况好（预测m）nHP公司该如何修正其先验概率？n已知的条件概率：np(预测m|H)=1/20=0.05np(预测m|M)=40/50=0.8np(预测m|L)=3/30=0.1n求后验概率：np(H|预测m)=?np(M|预测m)=?np(L|预测m)=?（2）如果市场调查公司预测该新产品的销售情况好（预测m）p(H)=0.2p(M)=0.5p(L)=0.3p(预测m|H)=0.05p(预测m

15、|M)=0.8p(预测m|L)=0.1p(预测mH)=0.050.2 =0.01p(预测mM)=0.80.5 =0.4p(预测mL)=0.10.3 =0.03p(预测m)=0.01+0.4+0.03=0.44先验概率条件概率联合概率后验概率p(H|预测m)=0.01/0.44 =0.022p(M|预测m)=0.4/0.44 =0.909p(L|预测m)=0.03/0.44 =0.068（3）如果市场调查公司预测该新产品的销售情况好（预测l）nHP公司该如何修正其先验概率？n已知的条件概率：np(预测l|H)=1/20=0.05np(预测l|M)=5/50=0.1np(预测l|L)=24/30=

16、0.8n求后验概率：np(H|预测l)=?np(M|预测l)=?np(L|预测l)=?（3）如果市场调查公司预测该新产品的销售情况好（预测l）p(H)=0.2p(M)=0.5p(L)=0.3p(预测l|H)=0.05p(预测l|M)=0.1p(预测l|L)=0.8p(预测lH)=0.050.2 =0.01p(预测lM)=0.10.5 =0.05p(预测lL)=0.80.3 =0.24p(预测l)=0.01+0.05+0.24=0.3先验概率条件概率联合概率后验概率p(H|预测l)=0.01/0.3 =0.033p(M|预测l)=0.05/0.3 =0.167p(L|预测l)=0.24/0.3

17、=0.80市场调查公司三种预测结果的概率等于边缘密度 预测实际hmlSumH181120M540550L332430Sum264430100p(预测h)=0.26p(预测m)=0.44p(预测l)=0.3问题：HP公司在委托市场调查公司之前，是否知道其预测结果？如何估计市场调查公司的预测结果？p(预测h)=0.26先验概率p(H)=0.2p(M)=0.5p(L)=0.3p(预测h|H)=0.9条件概率p(预测h|M)=0.1p(预测h|L)=0.1p(预测hH)=0.18联合概率p(预测hM)=0.05p(预测hL)=0.03后验概率p(H|预测h)=0.692p(M|预测h)=0.192p(

18、L|预测h)=0.115p(H)=0.2p(M)=0.5p(L)=0.3p(预测m|H)=0.05p(预测m|M)=0.8p(预测m|L)=0.1p(预测mH)=0.01p(预测mM)=0.4p(预测mL)=0.03p(H|预测m)=0.022p(M|预测m)=0.909p(L|预测m)=0.068p(预测m)=0.44p(预测l)=0.3边缘密度p(H)=0.2p(M)=0.5p(L)=0.3p(预测l|H)=0.05p(预测l|M)=0.1p(预测l|L)=0.8p(预测lH)=0.01p(预测lM)=0.05p(预测lL)=0.24p(H|预测l)=0.033p(M|预测l)=0.167

19、p(L|预测l)=0.80市场调查公司三种预测结果能否提高HP公司的期望收益？n比较不进行市场调查和委托进行市场调查，前后两种方案的期望收益差异。HP公司不进行市场调查的期望收益：nThe EMV for the decision of MU is:550.2+100.5-150.3=11.5nThe EMV for the decision of BD is:250.2+300.5+100.3=23nThe EMV for the decision of BA is:400.2+200.5+50.3=19.5HPHigh 0.2MUBDBAMedium 0.5Low 0.3Fig.2-3 C

20、ompleted decision tree(pay-off and probability)5510-1525301040205High 0.2Medium 0.5Low 0.3High 0.2Medium 0.5Low 0.3HP进行市场调查的期望收益:(1)预测h nThe EMV for the decision of MU is:550.692+100.192-150.115 =38.255nThe EMV for the decision of BD is:250.692+300.192+100.115 =34.56nThe EMV for the decision of BA i

21、s:400.692+200.192+50.115+=32.095HPMUBDBA用后验概率求期望收益5510-1525301040205p(L|预测h)=0.115p(M|预测h)=0.192p(H|预测h)=0.692p(L|预测h)=0.115p(M|预测h)=0.192p(H|预测h)=0.692p(L|预测h)=0.115p(M|预测h)=0.192p(H|预测h)=0.692HP进行市场调查的期望收益:(2)预测m nThe EMV for the decision of MU is:550.022+10 0.909-150.068=9.28nThe EMV for the deci

22、sion of BD is:25 0.022+300.909+10 0.068 =28.5nThe EMV for the decision of BA is:40 0.022+200.909+5 0.068 =19.4用后验概率求期望收益HPMUBDBA5510-1525301040205p(L|预测m)=0.068p(M|预测m)=0.909p(H|预测m)=0.022p(L|预测m)=0.068p(M|预测m)=0.909p(H|预测m)=0.022p(L|预测m)=0.068p(M|预测m)=0.909p(H|预测m)=0.022HP进行市场调查的期望收益:(3)预测lnThe EMV

23、 for the decision of MU is:550.033+100.167-150.80 =-8.515nThe EMV for the decision of BD is:250.033+300.167+100.80 =13.835nThe EMV for the decision of BA is:400.033+200.167+50.80 =8.66HPMUBDBA用后验概率求期望收益5510-1525301040205p(L|预测l)=0.80p(M|预测l)=0.167p(H|预测l)=0.033p(L|预测l)=0.80p(M|预测l)=0.167p(H|预测l)=0.0

24、33p(L|预测l)=0.80p(M|预测l)=0.167p(H|预测l)=0.033HP根据三种预测结果所获得的期望收益：p(预测h)=0.26行动方案MU38.255期望收益p(预测m)=0.44p(预测l)=0.3边缘密度BDBA34.5632.09528.59.28-8.51513.8358.6619.4MUMUBDBDBABA38.25528.513.835HPThe EMV after forecast:38.2550.26+28.50.44+13.835 0.3=26.6368采样信息的期望价值(EVSI)n没有市场调查时的期望收益：The EMV for the decisio

25、n of BD is:250.2+300.5+100.3=23n进行市场调查时的期望收益：The EMV after forecast:38.2550.26+28.50.44+13.835 0.3=26.6368n进行市场调查提高的期望收益：26.6368233.6368 (EVSI)完全信息的期望价值(EVPI)nThe EMV with perfect information is:550.2+300.5+100.3=29n完全信息提高的期望收益:29-23=6(EVPI)HPHigh 0.2MUBDBAMedium 0.5Low 0.3Fig.2-3 Completed decision

26、 tree(pay-off and probability)5510-1525301040205High 0.2Medium 0.5Low 0.3High 0.2Medium 0.5Low 0.3新信息的可靠性分析n假设，市场调查公司过去预测的准确性如下表：预测实际hmlSumH191020M246250L212730Sum234829100例3:钻探实验的可靠性分析n假设，地质学家对某地的地质构造不清楚，他对该地方是否存在天然气的先验概率为0.5。n为了进一步确认该地方是否存在天然气，地质学家决定进行钻探实验。钻探结果的结果显示：该地方存在天然气。n如果钻探结果的准确性为95%，该地质学家如

27、何根据钻探的结果修正其先验概率。例3:钻探实验的可靠性分析n先验概率：p(gas exits)=0.5 p(gas not exits)=0.5n随机试验：钻探实验（Test Drilling）n条件概率（钻探结果的准确性95%）：p(Drilling indicates gas|gas exits)=0.95 p(Drilling indicates gas|gas not exits)=0.05n后验概率：p(gas exits|Drilling indicates gas)=?p(gas not exits|Drilling indicates gas)=?后验概率的求解过程问题：是否新

28、信息的可靠性越高，先验概率修正的幅度越大？4.5 贝叶斯分析n4.5.1 贝叶斯风险与贝叶斯规则n4.5.2 正规型贝叶斯分析n4.5.3 贝叶斯分析的扩展型n4.5.4 信息的价值n4.5.5 贝叶斯分析的例子n4.5.6 序贯分析n4.5.7 非正常先验与广义贝叶斯规则4.5.1 贝叶斯风险与贝叶斯规则 为了使损失函数能够确切地反映后果对决策人的实际价值，令效用函数的负值为损失函数。基数效用在正线性变换下的惟一性使得损失函数在正线性变换下也是惟一的。为了运算的方便，可以采用下式使损失函数值非负：),(),(maxmax),(auaualAa 无论上述哪一种方式定义损失函数，对分析的结果不会

29、有任何影响。),(),(aual定义定义:风险函数例:策略空间 假设观察值X=(x1,x2,x3,x4),决策人的行动集A=(a1,a2,a3).决策人根据观察值采取的策略空间如下:注注:策略空间包含了策略空间包含了(忽略了忽略了)观察值观察值X和自然状态和自然状态之间之间的所有的所有对应关系对应关系.定义定义:风险函数 由于在进行决策分析的时候并不知道真实的自然状态，只能对自然状态设定先验概率，因此要用风险函数关于自然状态的期望值来描述实际的损失。定义定义:贝叶斯风险定义定义:贝叶斯决策规则4.5.2 正规型贝叶斯分析贝叶斯分析正规型的实质贝叶斯分析正规型的实质:对所有策略对所有策略下的下的

30、贝叶斯风险贝叶斯风险的穷举的穷举,找出其中的最小的找出其中的最小的,在实际应用有很大的局限。在实际应用有很大的局限。4.5.3 贝叶斯分析的扩展型4.5.3 贝叶斯分析的扩展型4.5.5 贝叶斯分析的例子1无观察问题无观察问题 例例4.3 油井钻探问题。油井钻探问题。某公司拥有一块可能有油的土地，该公司可以自己钻井，也可以出租给其他公司开采；若出租土地,租约有两种形式：无条件出租，租金45万元。有条件出租，租金依产量而定：产量在20万桶或以上时，每桶提成5元；产量不足20万桶时不收租金。设钻井费用为75万元，有油时需另加采油设备费25万元，油价为15元/桶。为了简化问题，将油井产量离散化，分为

31、4种状态：无油、产油5万桶、产油20万桶、产油50万桶。设各种状态的主观概率分布如下表，且决策人风险中立，分析决策人该选择什么行动？决策表:效用a1a2a31(1)=0.150*15-75-25=650455*50=2502(2)=0.1520*15-75-25=200455*20=1003(3)=0.255*15-75-25=-254504(4)=0.50*15-75=-75450决策表:损失a1a2a31(1)=0.1-650-45-2502(2)=0.15-200-45-1003(3)=0.2525-4504(4)=0.575-450问题的决策树C14=-75万元C13=-25万元C12

32、=200万元C11=650万元C23=45万元C34=0万元C33=0万元C32=100万元C31=250万元)(3)(1)(4)(2效用收入65020-25-7545250100002a1a3a1.0)(3)(1)(4)(2将决策人自己钻井a1,无条件出租记作a2,有条件出租为a3.又因为决策人风险中立，所以可以设uij=cij/万元,令l(y)=-u(y)。2进行随机试验获取观察值进行随机试验获取观察值 2进行随机试验获取观察值进行随机试验获取观察值扩展型分析a1a2a31(1|x1)=0.166-650+12=-638-45+12=-33-250+12=-2382(2|x1)=0.240

33、-200+12=-188-45+12=-33-100+12=-883(3|x1)=0.32725+12=37-45+12=-33 0+12=124(4|x1)=0.26775+12=87-45+12=-33 0+12=12后验期望损失-115.7-33-53.5扩展型分析-638-18837870.1660.240.3270.267-33-238-8812-115.5-33-5-115.5-48.275-33-33x1:0.351x2:0.259x3:0.215x4:0.175-61.91-51.251a2a3a进行试验不进行试验.1a2a3a1a2a3a1a2a3a.1a2a3a正规型分析扩

34、展型分析得到的贝叶斯策略x1x2x3x4a1a1a2a24.5.4 信息的价值首先考察理想的状况。假设通过试验能够获得自然状态的完全信息。如果能够获得自然状态的完全信息，即决策人事先知道状态的确切值，则决策人可以根据这种状态选择使损失最小的行动进而使期望损失极小化。这时的期望损失是:),(minalEAa例:完全信息下的期望损失计算a1a2a31(1)=0.1-650-45-2502(2)=0.15-200-45-1003(3)=0.2525-4504(4)=0.575-450),(minalEAa),(minalEAa=-650*0.1-200*0.15-45*0.25-45*0.5=-12

35、8.754.5.4 信息的价值),(minalEAa 当决策人不知道自然状态的确切情况时，只能在行动集中选择一个行动使期望损失极小化，这时的期望损失是:例:不知道自然状态的期望损失计算(即无信息时的最小期望损失),(minalEAaa1a2a31(1)=0.1-650-45-2502(2)=0.15-200-45-1003(3)=0.2525-4504(4)=0.575-450各行动的期望损失-51.25-45-40完全信息的期望价值完全信息的期望价值EVPI上两式之差称为完全信息的期望价值完全信息的期望价值(expected value of perfect information)，简记为

36、EVPI，即:),(min),(minalEalEEVPIAaAa=-51.25-128.75=77.52采样信息的期望价值采样信息的期望价值)(,(min),(min),(xlEErrX4.5.6 序贯分析4.5.7 非正常先验与广义贝叶斯规则2.广义贝叶斯规则广义贝叶斯规则需要注意的是：需要注意的是：在许多重要场合，所有允许的决策规在许多重要场合，所有允许的决策规则都是广义贝叶斯规则；则都是广义贝叶斯规则；在无法得到正常先验时，除此别无良在无法得到正常先验时，除此别无良策；策；广义贝叶斯规则不一定是最好的决策广义贝叶斯规则不一定是最好的决策规则。规则。作业5：nP97:八、某农民nP97-P98:十、某公司