1、四四 转移概率的稳态性能转移概率的稳态性能问题问题 马尔可夫链是否具有统计意义下的稳态性马尔可夫链是否具有统计意义下的稳态性,即要即要回答以下问题回答以下问题?,( ),1i jS当n 时, 转移概率数列( )nijp是否收敛?,( ),2i jS若( )limnijnp存在,此极限是否与初始状态i无关? (3)在怎样的条件才能保证( )limnijnp存在且与初始状态i无关?( )limijnjnp而此时， 是否为一概率分布？1. 转移概率的极限转移概率的极限由已有知识可知由已有知识可知(1)ji若 为或时,返零常返对非常有lim0nijnp（ ）ji是正常返且 是总假定非正常返ji和 属于
2、同或者一个正常返类但但! 又由已有知识可知又由已有知识可知(2)j当 为正常返周期状态时limnjjnp（ ）不存在limnijnp（ ）就这样讨论极限将无意义.那么那么,如何讨论如何讨论 ? ? ?由周期链的性质得到启由周期链的性质得到启发发我们讨论我们讨论()jndrijnp 当时的极限问题1,2,jrd()0( ),1,2,jndrijijjnfrfi jSrd记( )ijjfrinmdr表示系统从状态出发，在某时刻首次到达状态j的概率.()110( )()jjjddndrijijrrnfrf 且()01()jjdndrijnrf ()1mijmfijf定理定理1 设设j是正常返状态，则
3、是正常返状态，则()lim( ),1,2,jndrjijijjnjjdpfriS rd其中jj是j的平均转回时间.证明证明( )0njjjdnp不能整除 时，01jldrnvl仅当时， ， ,()0jndjvrjp ()()( )1jjjijndrndrndr vvijjjvpfp ()()0jjijnldrn l djjlfp()()()0jjjijnndrldrn l dijjjlpfp即1Nn 对()()()()(1)()00jjjjjjijijijldrn l dndrldrnNl dlNnNdrjjijjjlllfppfpfNn 固定 ，让得()()()0limlimjjjijldr
4、ndrndrjijijnnljjNdfpp01()()jjijijNldrldrjlljjNdffN 再让得()lim( )jndrjijijnjjdpfr,1,2,jiS rd则推论推论 设,0,1,2,nXn 是齐次马尔可夫链，它的每个状态都是正常返正常返的，而且都有周期d，状态空间S已经被唯一地分解成1,dmmSJ,i jS(),lim0,mndjjijndi jJp若于同一否特别的，如果d=1,则,i jS( )1limnijnjjp证明证明在以上定理中取在以上定理中取 r=d, 则有则有()lim( )ndijijnjjdpfd()0( )jndrijijnfrf()1( )ndij
5、ijnfdfmijJ若， 不属于同一个()()00ndndijijpf( )0f dmijJ若， 属于同一个( )0nijdnp若 不能整除 时，()1(1( )nmijmdijijnfdffijf1即即 得到结论得到结论.证明证明(),0mijiSji jp S 不可约闭集S 的状态都是非周期S当 中有一个为非常返(或零常返状态),则均为为非常返(或零常返状态).( ),lim0nijni jSpS当 中有一个为正常返,则均为为正常返.( )1,limnijnjji jSp( )0lim1,ijnjnjjjpj， 为非常返或零常反状态正常返非周期状态定理定理3 设012,SDCCC其中D为非
6、常返状态集，0C为零常返状态集，(1,2,)mCm为正常返状态闭集，则0( )00,lim0,ijmnijjjnmlmmjDCiSfjCiSpjCiCClmjCiDC遍历，有周期，一般不存在，有周期，且此极限值与初始状态i无关，记作推论推论 设设,0,1,2,nXn 是不可约的马尔可夫链，其状态空间S中的每个状态都是正常返非周期状态正常返非周期状态,则,i jSlimnijnp（ ）极限存在,j即( )1limnijjnjjp定理定理4 设C 为互通的遍历状态构成的闭集，则11j Cjj证明证明( )1limnijnjjp由以上推论nijjp（ ）C由C是闭集limliatoumff由F引理(
7、与lim交换,且)得11j Cjjm又对 自然数 ，由-方程()( )()n mnmijikkjk CpppFatoun 令取极限，并应用引理()11(*)mkjk Cjjkkp(,*.)( )jCm 反证法证明对自然数只能是等号成立00 0()11mkjk Cj jkkjp若使得(*)j对式关于求和()11()mkjk Ckkj Cj Cjjp()1(mkjjCkCkkp1k Ckk()矛盾()11mkjk Cjjkkpm 令，并应用控制收敛定理11j Cjj定义定义 设,0,1,2,nXn 是一个马尔可夫链，如果,i jS( )111lim,0,1,nijnj Cjjjjjjp且1,jjj
8、S则则构成一概率分布，称为马尔可夫链,0,1,2,nXn 的极限分布极限分布.00limlimnnijijnnpp（ ）（ ）研究一个不可约的马尔可夫链是否为遍历，可通过对极限的讨论，由于计算困难平稳，可分以通过对布的讨论推论推论 不可约马尔可夫链是遍历链的充要条件不可约马尔可夫链是遍历链的充要条件 是极限分布存在且唯一是极限分布存在且唯一.2 平稳分布平稳分布定义定义 称概率分布,iiS是转移概率矩阵为()ijpP的马尔可夫链的一个平稳分布平稳分布.如果,jiiji SpjS（ ）说明说明 若齐次马尔可夫链有一个平稳分布若齐次马尔可夫链有一个平稳分布:,iiS( ),1,2,ijnjii S
9、jS np则也有定理定理5 设,iiS是齐次马尔可夫链,0,1,2,nXn 的一个平稳分布，如果取,iiS为,0,1,2,nXn 的初始分布初始分布，即0(),iP XiiS(1) 则对任意的正整数则对任意的正整数n，都有，都有(),niP XiiS(2)并且对任意的正整数并且对任意的正整数n，m,以及以及1120, ,nntti iiS 和有和有12121212(,)(,)nntmtmtmntttnP Xi XiXiP Xi XiXi证明证明00(1)()() ()nnk SP XiP Xk P Xi Xk( )nkkik SpiiS1212(2)(,)ntmtmtmnP Xi XiXi12
10、12(,)ntttnP Xi XiXi0121002(,)ntmtmtniSmPXi XiXXii1201002(,),ntmtmtmniSPXi XiXiXi100 112011 21()()()nnnntttttmii iiiiiiSppp121111 2()()nnnnitttti iiipp12111211()(nntttntntP Xi XiP Xi XiP Xi说明了说明了 若链有平稳分布若链有平稳分布,且以它作为初始分布且以它作为初始分布,则其绝对则其绝对分布是确定的分布是确定的,保持不变保持不变.且该链是严平稳的序列且该链是严平稳的序列.对一个齐次的马尔可夫链是否存在平稳分布对
11、一个齐次的马尔可夫链是否存在平稳分布?一个重要的问题一个重要的问题:如果存在如果存在,是否唯一是否唯一?如何计算如何计算?在特殊情况下在特殊情况下,回答上述问题回答上述问题,即定理即定理(5.4.)6 引理引理1 设,i jS则必存在极限()10,1lim,nmijijnmjjjfpjn是非常返状态或零常返状态是正常返状态推论推论4 如果齐次马尔可夫链是不可约的，它的所有状态都是常返状态，则,i jS()111lim10nmijnmjjjjjjpn 当时，约定有定理定理6 设,0,1,2, 是齐次马尔可夫链不可约nXn其状态空间 中的每个状正常态都是返状态.S1,0,1,2,.njjjXnjS
12、则有唯一的平稳分布特别的，特别的，若S 中的每个状态都是遍历状态遍历状态，则1,0,1,2,. 有唯一的平稳分布njjjXnjS且此时的平稳分布就是极限分布且此时的平稳分布就是极限分布.,jkkjk Skk SpjS平稳分布通过平稳分布通过求解右方程组求解右方程组其次其次 对一般的马尔可夫链对一般的马尔可夫链,如果不是不可约如果不是不可约,则极限则极限分布一定不存在分布一定不存在.平稳分布可能存在平稳分布可能存在,也可能不存在也可能不存在.若存在若存在,可能不唯一可能不唯一(有无穷多个有无穷多个)有定理有定理(5.4.)7引理引理2 设设C是周期为是周期为d的正常返状态的不可约闭集的正常返状态
13、的不可约闭集,则则11j Cjj定理定理7 设012,HCCCQSD其中D是非常返状态集，C0是零常返状态集，(1,2,)mCm是正常返状态的不可约闭集，0,QDCHC 0,如果jjj SjS为齐次马尔可夫链的平稳分布的，使得11(2)0,(3),（ ）jjjjjQjC,则jjS充要条件是存在非负数列推论推论5 对于齐次马尔可夫链对于齐次马尔可夫链(1) 其其平稳分布存在的充要条件平稳分布存在的充要条件是是存在正常返状态的存在正常返状态的 不可约闭集不可约闭集.等价地等价地,不存在平稳分布的充要条件是不存在平稳分布的充要条件是 H= (2) 存在存在唯一的平稳分布唯一的平稳分布的充要条件是的充
14、要条件是恰有一个正常恰有一个正常 返状态的不可约闭集返状态的不可约闭集.(3) 存在存在无穷多个平稳分布无穷多个平稳分布的充要条件是的充要条件是至少有两个至少有两个 不同的正常返状态的不可约闭集不同的正常返状态的不可约闭集.(4) 不可约链存在唯一的平稳分布的充要条件是不可约链存在唯一的平稳分布的充要条件是 所有所有 状态都是正常返状态状态都是正常返状态.定理定理8 不可约齐次马尔可夫链,0,1,2,nXn 具有平稳分布的充要条件是线性方程组,jiiji Szz pjS有非零的绝对收敛解,0,jjj SjS 即而且此时还有1,jii SjjjS例例 1 设状态空间为设状态空间为S=0,1,2,
15、的马尔可夫链的马尔可夫链, 其一步其一步 转移概率矩阵为转移概率矩阵为0.50.40.10.30.40.30.20.30.5P骣= 桫试求它的极限分布试求它的极限分布解解 易知此链为不可约遍历链易知此链为不可约遍历链. 故其平稳分布就是极限分布故其平稳分布就是极限分布0121 02162p=12362p=21862p=例例2 设齐次马尔可夫链的状态空间设齐次马尔可夫链的状态空间S=0,1,2,3,4,其其一步转移概率矩阵为一步转移概率矩阵为12000331200033120003312000331200033P求它的平稳分布求它的平稳分布解解 易知是不可约链易知是不可约链,且为遍历链且为遍历链
16、. 故其平稳分布存在且唯一故其平稳分布存在且唯一.012341 0131p=1231p=2431p=3831p=41631p=平稳分布为平稳分布为8161243131 313131=，例例3 设有状态空间设有状态空间S=0,1,2,3,4,5,6的齐次马尔可夫链的齐次马尔可夫链 其一步转移概率矩阵为其一步转移概率矩阵为0.50.50000002/ 31/ 300001/ 302/ 300000000.50.5000000.50.500000001011111117777777P(1)试对试对S进行分类，并说明各状态类型进行分类，并说明各状态类型(2) 求平稳分布，其平稳分布是否唯一？为什么？求
17、平稳分布，其平稳分布是否唯一？为什么？(3) 求求22(10),(20)nnnnP XXP XX121713121712122312501634132312(1) 123SDCCC+=UUU60,1,23,45=UUU(2) 由由(1)知知,该链有三个不同的正常返不可约闭集该链有三个不同的正常返不可约闭集所以平稳分布不唯一所以平稳分布不唯一三个闭集对应的转移概率矩阵分别为三个闭集对应的转移概率矩阵分别为1122213311233000P骣= 桫112221122P骣=桫()31P =解方程组解方程组(1)(1)1(1)(1)(1)1231(2)(2)2(2)(2)121(3)(3)3(3)11(1)332888 , , =(2)1122 , =(3)1=11122223388238,0,llllll=平稳分布为平稳分布为12312310llllll+=， ， ，(2)201(10(3)nnP XXp(2)202(20)nnP XXp11127222312=+=111236=作业作业: 3, 4, 5, 7, 9, 11, 12, 13, 14 (2), (4), (6), 15, 16.
