1、第五章：连续时间的马尔可夫链第五章：连续时间的马尔可夫链v连续时间马尔可夫链连续时间马尔可夫链定义定义v无穷小转移概率矩阵无穷小转移概率矩阵v柯尔莫哥洛夫柯尔莫哥洛夫向前方程向前方程与与向后方程向后方程v连续时间马尔可夫链的连续时间马尔可夫链的应用应用定义定义5.1：设随机过程设随机过程X(t),t0，状态空间，状态空间I=in,n0，若，若对任意对任意0t1t2tn1及及i1,i2,in+1I，有，有)(|)()(,)(,)(|)(11221111nnnnnnnnitXitXPitXitXitXitXP则称则称X(t),t0为为连续时间马尔可夫链连续时间马尔可夫链。上式中条件概率可以写成上式
2、中条件概率可以写成转移概率转移概率的形式的形式),()(|)(tspisXjtsXPij定义：定义：若若pij(s,t)的转移概率与的转移概率与s无关，则称连续时无关，则称连续时间马尔可夫链具有间马尔可夫链具有平稳的或齐次平稳的或齐次的转移概率，的转移概率，此时转移概率简记为此时转移概率简记为其转移概率矩阵简记为其转移概率矩阵简记为)(),(tptspijij)()(tptijP时间轴时间轴0ss+t状态状态i状态状态i持续时间持续时间i i|tPstsPiii 在在0时刻马尔可夫链进入状态时刻马尔可夫链进入状态i，而且在接，而且在接下来的下来的s个单位时间中过程未离开状态个单位时间中过程未离
3、开状态i，问在，问在随后的随后的t个单位时间中过程仍不离开状态个单位时间中过程仍不离开状态i的概的概率是多少？率是多少？无记忆性一个连续时间的马尔可夫链，每当它进入状态一个连续时间的马尔可夫链，每当它进入状态i，具有如下性质：具有如下性质：1.在转移到另一状态之前处于状态在转移到另一状态之前处于状态i的时间服从参的时间服从参数为数为vi的的指数分布指数分布；2.当过程离开状态当过程离开状态i时，接着以概率时，接着以概率pij进入状态进入状态j，1ijijp当当vi=时，称状态时，称状态i为为瞬时状态瞬时状态；当当vi0时，称状态时，称状态i为为吸收状态吸收状态。x0()0 x0 xef x1
4、x0()0 x0 xeF x 对于指数分布的随机变量X|?P xst xsP xt定理定理5.1：齐次马尔可夫过程的转移概率具有下列性质：齐次马尔可夫过程的转移概率具有下列性质：1.2.3.证明证明0)(tpij1)(IjijtpIkkjikijsptpstp)()()(正则性条件正则性条件01,lim()0,ijtijptij ()()|(0)(),()|(0)()|(0)()|()()()ijk Ik Iikkjk IP tsP X tsj XiP X tsj X tk XiP X tk Xi P X tsj X tkP t P s证明:定义定义5.3对于任一对于任一t0，记，记IjjXP
5、ppjtXPtpjjj,)0()0(,)()(为为绝对概率绝对概率和和初始概率初始概率。分别称分别称pj(t),jI和和pj,jI为齐次马尔可夫为齐次马尔可夫过程的过程的绝对概率分布绝对概率分布和和初始概率分布初始概率分布。定理定理5.2齐次马尔可夫过程的绝对概率及有限维概率分齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：布具有下列性质：1.2.3.4.5.0)(tpj1)(IjjtpIiijijtpptp)()(Iiijijptptp)()()(IinniiiiiiinnttpttptppitXitXPnn)()()()(,)(1121111211例题例题5.1：证明证明:泊松过程
6、泊松过程X(t)为连续时间齐次马尔可夫为连续时间齐次马尔可夫链。链。(1)先证明马氏性先证明马氏性(2)再证明齐次性再证明齐次性111111()|(),.()()|()nnnnnnnnP X tiX tiX tiP X tiX ti()|()()ijP X stj X siP tQ矩阵和柯尔莫哥洛夫方程矩阵和柯尔莫哥洛夫方程引理引理5.1 设齐次马尔可夫过程满足正则性条件，则对设齐次马尔可夫过程满足正则性条件，则对于任意固定的于任意固定的i,jI，pij(t)是是t的的一致连续一致连续函数。函数。定理定理5.3 设设pij(t)是齐次马尔可夫过程的转移概率且满是齐次马尔可夫过程的转移概率且满足
7、正则性条件，则下列极限存在：足正则性条件，则下列极限存在：1.2.称为称为转移速率转移速率或或跳跃强度跳跃强度Q矩阵和柯尔莫哥洛夫方程矩阵和柯尔莫哥洛夫方程iiiiitqvttp)(1lim0jiqttpijijt,)(lim0 若连续时间齐次马尔可夫链是具有有限状若连续时间齐次马尔可夫链是具有有限状态空间态空间I=1,2,n，则其，则其转移速率转移速率可构成以下可构成以下形式的矩阵形式的矩阵nnnnnnqqqqqqqqq101111000100Q Q矩阵矩阵的每一行元素之和为的每一行元素之和为0，对角线元素，对角线元素为负或为负或0，其余，其余qij0 利用利用Q矩阵可以推出任意时间间隔矩阵
8、可以推出任意时间间隔t的转移的转移概率所满足的方程组，从而可以概率所满足的方程组，从而可以求解转移概率求解转移概率。定理定理5.4（柯尔莫哥洛夫向后方程柯尔莫哥洛夫向后方程）假设假设 ，则对一切，则对一切i,j及及t0，有，有 iiikikqq)()()(tpqtpqtpijiiikkjikij证明证明由C-K方程可以知道：Ikkjikijtphphtp)()()()()()()()()(tphp1tphptphtpijiiikkjikijij)()()(tpqtpqtpijiiikkjikij0h 两边除以h，取极限可以得到：(t)pq(t)pq (t)pq(t)ph(h)p (t)pq(t
9、)ph(h)p tphhp1htphphtphtpijiikjikikijiikjikik0hijiikjikik0hijii0hikkjik0hijij0hlimlimlimlimlim)()()()()()(即即定理定理5.5（柯尔莫哥洛夫向前方程柯尔莫哥洛夫向前方程）在适当的正则条件下，则对一切在适当的正则条件下，则对一切i,j及及t0，有，有 jjijjkkjikijqtpqtptp)()()(利用利用Kolmogorov向后方程或向前方程及下向后方程或向前方程及下述述初始条件初始条件，可以解得，可以解得pij(t)0)0(1)0(ijiipp柯尔莫哥洛夫柯尔莫哥洛夫向后和向前方程的矩
10、阵表达形式为向后和向前方程的矩阵表达形式为QPPQPP)()(t)(ttt连续时间马尔可夫链的转移概率的求解问题连续时间马尔可夫链的转移概率的求解问题就是就是矩阵微分方程矩阵微分方程的求解问题，其转移概率的求解问题，其转移概率由其由其转移速率矩阵转移速率矩阵Q决定。决定。柯尔莫哥洛夫柯尔莫哥洛夫向后方程向后方程的矩阵表达形式为的矩阵表达形式为(t)(QPP tnnnnnnqqqqqqqqq101111000100Q)()()()()()()()()(000000tPtPtPtPtPtPtPtPtPP(t)nnn1n1n111n1例题例题5.2 考虑两个状态的连续时间马尔可夫链，在转考虑两个状态
11、的连续时间马尔可夫链，在转移到状态移到状态1之前在状态之前在状态0停留的时间是参数为停留的时间是参数为的指数变量，而在回到状态的指数变量，而在回到状态0 0之前它停留在状态之前它停留在状态1 1的时间是参数为的时间是参数为 的指数分布，求转移概率的指数分布，求转移概率P P0000(t),P(t),P0101(t),P(t),P1010(t),P(t),P1111(t)(t)。010101()1()()1()huhphPheho hphPheuho h P(t)Q(t)P000100000011110111011011()()()()()()()()ptptptptptptptpqqqtq向前
12、方程：向前方程：0101000()limhphhqq1010110()limhphuhqq解：解：当h趋于0时0110111000000111()()()()()()ptptptpptptptutptu0000010100()()()()1()ptptuptptpt 0000()00()()()()Cu tptu ptuuptCeu为常数00(0)1p将代入可得：()00()u tupteuu()01()u tpteuu()10()u tuupteuu()11()u tupteuu同理：同理：可求平稳分布和绝对概率分布Kolmogorov向后和向前方程所求得的解向后和向前方程所求得的解pij(
13、t)是相同的是相同的在实际应用中，当固定最后所处状态在实际应用中，当固定最后所处状态j，研究，研究pij(t)时时（i=0,1,），采用向后方程较方便；），采用向后方程较方便；当固定状态当固定状态i，研究，研究pij(t)时（时（j=0,1,），采用向前），采用向前方程较方便；方程较方便；定理定理5.6齐次马尔可夫过程在齐次马尔可夫过程在t时刻处于状态时刻处于状态jI的绝对概率的绝对概率pj(t)满足下列方程满足下列方程jkkjkjjjjqtpqtptp)()()(定义定义5.4设设pij(t)为连续时间马尔可夫链的转移概率，若存在时为连续时间马尔可夫链的转移概率，若存在时刻刻t1和和t2，使
14、得，使得0)(,0)(1tptpjiij则称状态则称状态i和和j是互通的。若所有状态都是互通的，是互通的。若所有状态都是互通的，则称此马尔可夫链为则称此马尔可夫链为不可约不可约的。的。转移概率转移概率pij(t)在在t时的性质及其平稳分布关系时的性质及其平稳分布关系定理定理5.7设连续时间的马尔可夫链是不可约的，则有下列性质：设连续时间的马尔可夫链是不可约的，则有下列性质：1.若它是正常返的，则极限若它是正常返的，则极限 存在且等于存在且等于j0，jI。这里。这里j是方程组是方程组 的唯一非负解，此时称的唯一非负解，此时称j,jI是该过程的平稳分布，并且有是该过程的平稳分布，并且有2.若它是零
15、常返的或非常返的，则若它是零常返的或非常返的，则)(limtpijt1Ijjjkkjkjjjqqlim()lim()ijjjttptpt Ijitptpjtijt,0)(lim)(lim例题例题5.3：机器维修问题：机器维修问题 设例题设例题5.2中状态中状态0代表某机器正常工作，状代表某机器正常工作，状态态1代表机器出故障。状态转移概率与例题代表机器出故障。状态转移概率与例题5.2相相同，即在同，即在h时间内，及其从正常工作变为出故障时间内，及其从正常工作变为出故障的概率为的概率为p01(h)=h+o(hh+o(h)；在；在h h时间内，机器从时间内，机器从有故障变为经修复后正常工作的概率为
16、有故障变为经修复后正常工作的概率为p p1010(h)=(h)=h+o(hh+o(h)，试求在，试求在t=0t=0时正常工作的机器，时正常工作的机器，在在t=5t=5时为正常工作的概率。时为正常工作的概率。5.3 生灭过程生灭过程设齐次马尔可夫过程 的状态空间为转移概率为 ,如果：(),0X t t 0,1,2,.I,1,10,()(),0()(),0,0()1()(),()(),2i iiii iiii iiii iphho hphu ho huuphu ho hpho hij 则称 为生灭过程.其中 为出生率，为纯灭过程。为死亡率，为纯生过程。()ijp t(),0X t t i0iiu0iu
