1、 Mathematical Modeling 2008 Mathematical Modeling 2008 5.5 随机状态转移模型随机状态转移模型5.6 马尔可夫链的应用模型马尔可夫链的应用模型概率方法建模概率方法建模( (二）二） Mathematical Modeling 2008 Mathematical Modeling 2008 马氏链模型马氏链模型 系统在每个时期所处的状态是随机的。系统在每个时期所处的状态是随机的。 从一时期到下时期的状态按一定概率转移。从一时期到下时期的状态按一定概率转移。 下时期状态只取决于本时期状态和转移概率，下时期状态只取决于本时期状态和转移概率， 与
2、以前的各时期状态无关。与以前的各时期状态无关。描述一类重要的描述一类重要的随机动态随机动态系统（过程）的模型系统（过程）的模型马氏链马氏链 (Markov Chain)时间、状态均为离散的随机转移过程时间、状态均为离散的随机转移过程已知现在，将来与过去无关（无后效性）已知现在，将来与过去无关（无后效性） Mathematical Modeling 2008 人的健康状态随着时间的推移会随机地发生转变人的健康状态随着时间的推移会随机地发生转变 ，保险公司要对投保人未来的健康状态作出估计保险公司要对投保人未来的健康状态作出估计, 以制定保险金和理赔金的数额。以制定保险金和理赔金的数额。 问题背景问
3、题背景通过有实际背景的例子介绍马氏链的基本概念和性质。通过有实际背景的例子介绍马氏链的基本概念和性质。 Mathematical Modeling 2008 例例1. 人的健康状况分为健康和疾病两种状态，设对特人的健康状况分为健康和疾病两种状态，设对特定年龄段的人，今年健康、明年保持健康状态的概率定年龄段的人，今年健康、明年保持健康状态的概率为为0.8, 而今年患病、明年转为健康状态的概率为而今年患病、明年转为健康状态的概率为0.7。若某人投保时健康若某人投保时健康, 问问10年后他仍处于健康状态的概率。年后他仍处于健康状态的概率。问题问题5.5 随机状态转移模型随机状态转移模型 Mathem
4、atical Modeling 2008 Mathematical Modeling 2008 , ,12nnXn第 年健康第 年疾病 随机变量随机变量Xn：第：第n年的状态年的状态1(), ,1,2, 0,1ijnnpP Xj Xii jn8 . 011p2 . 011112pp7 . 021p3 . 012122pp今年处于状态今年处于状态i, 来年处于状态来年处于状态j的概率的概率 :转移概率转移概率ijp( )(),1,2,0,1 ,ina nP Xiin状态概率状态概率 ( )ia n0.80.20.3120.75.5 随机状态转移模型随机状态转移模型 Mathematical Mo
5、deling 2008 Xn+1只取决于只取决于Xn和和pij , 与与Xn-1, 无关。无关。状态转移具状态转移具有无后效性有无后效性 1(), ,1,2,0 1, ,ijnnpP Xj Xii jn转移概率 111(1)(11) (1)(12) (2)nnnnnnnP XP XXP XP XXP X第第n+1年的状态概率可由全概率公式得年的状态概率可由全概率公式得 111(2)(21) (1)(22) (2)nnnnnnnP XP XXP XP XXP X1111221(1)( )( )a na n pa n p2112222(1)( )( )a na n pa n p随机状态转移模型随机
6、状态转移模型马氏链模型马氏链模型5.5 随机状态转移模型随机状态转移模型 Mathematical Modeling 2008 Mathematical Modeling 2008 n 0a2(n) 0 a1(n) 1设投保设投保时健康时健康设投保设投保时疾病时疾病a2(n) 1 a1(n) 0 n时状态概率趋于稳定值时状态概率趋于稳定值,稳定值与初始状态无关稳定值与初始状态无关3 0.778 0.222 7/9 2/9 0.7 0.77 0.777 0.3 0.33 0.333 7/9 2/9 10.80.220.780.22，给定，给定a(0), 预测预测 a(n), n=1,212( )
7、( ),( )a na n a n注注5.5 随机状态转移模型随机状态转移模型 1112211122210.8 10.70.2 10.3pppppp 11112212112222(1)( )( )(1)( )( )a na n pa n pa na n pa n p，给定，给定a(0), 预测预测 a(n), n=1,212( )( ( ),( )a na n a n Mathematical Modeling 2008 1230.10.0210.80.250.180.65例例2. 健康和疾病状态同上，健康和疾病状态同上，Xn=1 健康健康, Xn=2 疾病疾病 死亡为第死亡为第3种状态，记种
8、状态，记 Xn=3 死亡死亡333232131332322212123132121111)()()()1()()()()1()()()()1(pnapnapnanapnapnapnanapnapnapnanap11=0.8, p12=0.18, p13=0.02 p21=0.65, p22=0.25, p23=0.1 p31=0, p32=0, p33=1 问题问题5.5 随机状态转移模型随机状态转移模型 Mathematical Modeling 2008 n 0 1 2 3 a2(n) 0 0.18 0.189 0.1835 a3(n) 0 0.02 0.054 0.0880 a1(n)
9、1 0.8 0.757 0.7285 设投保时处于健康状态，预测设投保时处于健康状态，预测 a(n), n=1,2 不论初始状态如何，最终都要转到状态不论初始状态如何，最终都要转到状态3 ； 一旦一旦a1(k)= a2(k)=0, a3(k)=1, 则对于则对于nk, a1(n)=0， a2(n)=0, a3(n)=1, 即从状态即从状态3不会不会转移到其它状态。转移到其它状态。001 50 0.1293 0.0326 0.8381 注注5.5 随机状态转移模型随机状态转移模型 Mathematical Modeling 2008 1( )(),1,2, ,0,1,( )1inkiia nP
10、Xiik na n状态概率1,2,(0,1,)nXkn状态 1)ijk kPp转移概率矩阵(非负,行和为1(1)( ), 1,2,kijjija na n pik基本方程基本方程12( )( ( ),( ),( ) ka na n a na n状态概率向量 1()ijnnpP Xj Xi转移概率10,1,1,2,kijijjppikPnana)()1(nPana)0()(5.5 随机状态转移模型随机状态转移模型 Mathematical Modeling 2008 wwPw满足 正则链正则链 : 从任一状态出发经有限次转移能以正从任一状态出发经有限次转移能以正概率到达另外任一状态（如例概率到达
11、另外任一状态（如例1）。）。0,NPN正则链Pnana)() 1(0.8 0.2.0.7 0.31 P例)9/2 , 9/7(w1211220.80.70.20.3wwwwww11kiiww满足121ww120.20.7www 稳态概率稳态概率 , ( )()w a nw n 正则链w与与a(0)无关无关 Mathematical Modeling 2008 0r rIPRQ 吸收链吸收链 存在吸收状态存在吸收状态(一旦到达就不会离开的状态一旦到达就不会离开的状态i, pii=1) , 且且从任一非吸收状态出发经有限次转从任一非吸收状态出发经有限次转 移能以正概率到达吸收状态移能以正概率到达吸
12、收状态(如例如例2)。有有r个吸收状态的吸收链个吸收状态的吸收链的转移概率阵标准形式的转移概率阵标准形式R必必有非零元素，有非零元素，Q的特的特征值绝对值小于征值绝对值小于1，所以，所以10()ssMIQQ(1,1,1)Te 12( ,)k ryy yyMeyi 表示从第表示从第 i 个非吸收个非吸收状态出发，被某个吸收状状态出发，被某个吸收状态吸收前的平均转移次数。态吸收前的平均转移次数。 Mathematical Modeling 2008 Mathematical Modeling 2008 设状态设状态i是非吸收状态，是非吸收状态，j是吸收状态，则首达概率是吸收状态，则首达概率f ij
13、 (n)实际上是实际上是i经经n次转移被次转移被j吸收的概率。而吸收的概率。而则是从非吸收状态则是从非吸收状态i出发终将被吸收状态出发终将被吸收状态j吸收的概率。吸收的概率。记则F=f ijF=MR例如，可以算出前面第二种情况中例如，可以算出前面第二种情况中F=MR=(1 1)T, y=Me=(25.7575 28.1818)T即，从两个非吸收状态即，从两个非吸收状态“健康健康”和和“疾病疾病”出发终出发终将被吸收状态将被吸收状态“死亡死亡”吸收的概率是吸收的概率是1, 且平均转移且平均转移次数分别为次数分别为26次和次和28次。次。fij = fij (1) + fij(2) + + fij
14、(n) + Mathematical Modeling 2008 Mathematical Modeling 2008 钢琴销售量很小，商店的库存量不大以免积压资金。钢琴销售量很小，商店的库存量不大以免积压资金。 一家商店根据经验估计，平均每周的钢琴需求为一家商店根据经验估计，平均每周的钢琴需求为1架。架。存贮策略存贮策略：每周末检查库存量，仅当库存量为零：每周末检查库存量，仅当库存量为零 时，才订购时，才订购3架钢琴供下周销售；否则，不订购。架钢琴供下周销售；否则，不订购。 失去销售机会的可能性有多大？失去销售机会的可能性有多大？以及每周的平均销售量是多少？以及每周的平均销售量是多少？ 背景
15、与问题背景与问题估计在这种策略下估计在这种策略下 Mathematical Modeling 2008 Mathematical Modeling 2008 问题分析问题分析 顾客的到来相互独立，需求量近似服从泊松分布，其参顾客的到来相互独立，需求量近似服从泊松分布，其参数由需求均值为每周数由需求均值为每周1架确定，由此架确定，由此计算需求概率计算需求概率 。存贮策略是周末库存量为零时订购存贮策略是周末库存量为零时订购3架架 周末的库存量可周末的库存量可能是能是0, 1, 2, 3，周初的库存量可能是，周初的库存量可能是1, 2, 3。用用马氏链描述马氏链描述不同需求导致的周初库存状态的变化。
16、不同需求导致的周初库存状态的变化。动态过程中每周销售量不同，失去销售机会（需求超过动态过程中每周销售量不同，失去销售机会（需求超过库存）的概率不同。库存）的概率不同。 可按稳态情况（时间充分长以后）计算失去销售机会的可按稳态情况（时间充分长以后）计算失去销售机会的概率和每周的平均销售量。概率和每周的平均销售量。 5. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 2008 Mathematical Modeling 2008 模型假设模型假设 1. 钢琴每周需求量服从泊松分布，均值为每周钢琴每周需求量服从泊松分布，均值为每周1架。架。 2. 存贮策略
17、存贮策略：当周末库存量为零时，订购：当周末库存量为零时，订购3架，下架，下周初到货；否则，不订购。周初到货；否则，不订购。 3. 以每周初的库存量作为状态变量，状态转移具以每周初的库存量作为状态变量，状态转移具 有无后效性。有无后效性。 4. 在稳态情况下计算该存贮策略失去销售机会的在稳态情况下计算该存贮策略失去销售机会的 概率，和每周的平均销售量。概率，和每周的平均销售量。 5. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 2008 模型建立模型建立 Dn第第n周需求量，均值为周需求量，均值为1的泊松分布的泊松分布 1()/ ! (0,1,2)n
18、P Dkekk状态转移规律状态转移规律 111213212223313233pppPpppppp状态转移阵状态转移阵 假设假设(1)Sn第第n周初库存量周初库存量(状态变量状态变量 )1,2,3nS 1,3,nnnnnnnSDDSSDSDn 0 1 2 3 3P 0.368 0.368 0.184 0.061 0.0195. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 2008 368. 0) 0() 11(111nnnDPSSPp0) 12(112nnSSPp632. 0) 1() 13(113nnnDPSSPp448. 0368. 0184.
19、0264. 0368. 0368. 0632. 00368. 0331(33) (0)(3)0.448nnnnpP SSP DP D 111213212223313233pppPpppppp状态转移阵状态转移阵 状态转移矩阵的计算状态转移矩阵的计算模型建立模型建立 1()/ ! (0,1,2)nP Dkekk(0)0.368 (1)0.368(2)0.184 (3)0.061 (3)0.019nnnnnP DP DP DP DP D5. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 2008 Mathematical Modeling 2008 3
20、, 2 , 1),()(iiSPnani状态概率状态概率 448. 0368. 0184. 0264. 0368. 0368. 0632. 00368. 0P正则链正则链 稳态概率分布稳态概率分布 w 满足满足 wP=w,0)NN P (正则链模型建立模型建立 马氏链的基本方程马氏链的基本方程(1)( )a na n P123( )( ),( ),( )a na n a n a n状态转移矩阵状态转移矩阵 11kiiw)452. 0 ,263. 0 ,285. 0(),(321wwwwn , 状态概率状态概率 ( )(0.285,0.263,0.452)a n 02P已知初始状态已知初始状态,
21、可可预测第预测第n周初库周初库存量存量Sn=i 的概率的概率5. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 2008 Mathematical Modeling 2008 ()nnP DS模型求解模型求解 0.264 0.285 0.080 0.263 0.019 0.45012. 05从长期看，失去销售机会的可能性大约从长期看，失去销售机会的可能性大约 10%。估计在这种策略下失去销售机会的可能性估计在这种策略下失去销售机会的可能性)()(31iSPiSiDPninn321) 3() 2() 1(wDPwDPwDP第第n周失去销售机会的概率周失
22、去销售机会的概率 ()nnDSPn充分大充分大()niPSiw (0)0.368 (1)0.368(2)0.184 (3)0.061 (3)0.019(0.285, 0.263, 0.452)nnnnnP DP DP DP DP Dw5. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 2008 Mathematical Modeling 2008 第第n周平均售量周平均售量Rn0.632 0.285 0.896 0.263 0.977 0.45082. 57)( )()(311iSPiSiDiPiSjDPjninnnnij 从长期看，每周的平均销售量
23、为从长期看，每周的平均销售量为 0.857(架架) 。模型求解模型求解 n充分大充分大()niPSiw 需求不超过存需求不超过存量量,销售需求销售需求需求超过存量需求超过存量,销售存量销售存量 ),(),(311 innnnijniSiDiPiSjDPjR5. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 2008 Mathematical Modeling 2008 敏感性分析敏感性分析 当平均需求在每周当平均需求在每周1(架架)附近波动时附近波动时,最终结果有多大变化？最终结果有多大变化？设设Dn服从均值服从均值为为 的泊松分布的泊松分布 )2
24、, 1 , 0(, !/)(kkekDPkneeeeeeeeP) 2/(12/)1 (11022状态转移阵状态转移阵 第第n周周(n充分大充分大)失去销售机会的概率失去销售机会的概率 )(nnSDPP模型分析模型分析 5. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 2008 0.80.91.01.11.2P0.0730.0890.1050.1220.139当平均需求增长（或减少）当平均需求增长（或减少）10%时，失去销售时，失去销售机会的概率将增长（或减少）约机会的概率将增长（或减少）约15%16% 。敏感性分析敏感性分析 当平均需求在每周当平均需求在每周1(架架)附近波动时附近波动时,最终结果有多大变化最终结果有多大变化模型分析模型分析 第第n周周(n充分大充分大)失去销售机会的概率失去销售机会的概率 ()nnPP DS5. 6 马尔可夫链的应用模型马尔可夫链的应用模型
