1、 第一节第一节 基本概念基本概念 第二节第二节 状态的分类及性质状态的分类及性质 第三节第三节 极限性态及平稳分布极限性态及平稳分布 第四节第四节 MarkovMarkov链的应用链的应用第一节第一节 基本概念基本概念一、一、MarkovMarkov链的定义链的定义二、转移概率二、转移概率三、三、MarkovMarkov链的例子链的例子四、四、n n步转移概率，步转移概率，C-KC-K方程方程 过程过程( (或系统或系统) )在时刻在时刻t t0 0所处的状态为已知的条件下，过程在时所处的状态为已知的条件下，过程在时刻刻tttt0 0所处状态的条件分布与过程在时刻所处状态的条件分布与过程在时刻
2、t t0 0之前所处的状态无关。之前所处的状态无关。 通俗地说，就是在已经知道过程通俗地说，就是在已经知道过程“现在现在”的条件下，其的条件下，其“将来将来”不依赖于不依赖于“过去过去”。第一节第一节 基本概念基本概念马尔可夫性马尔可夫性( (无后效性无后效性) ) 12111111( ),3,( )|( )|( ),ninnnnnnnnX t tTSTnttt ntTP X tiX tiX tiP X tiX tiX t tT设随机过程其状态空间为对参数集 中任意 个数值则称过程具有或，并称此过程马尔可夫性无后效性马尔为可夫过程。用分布函数表述马尔可夫性：用分布函数表述马尔可夫性： 一、一、
3、MarkovMarkov链的定义链的定义0 1 2 3S ， ，定义定义 设随机过程设随机过程 的状态空间为：的状态空间为：0 1 2nXn , ,， ，若对任意的若对任意的 ，及，及 有有0n 0121 ,niiiii jS， ， ，nXt01 23 4nn111111001| |nnnnnnP Xj Xi XiXiXiP Xj Xi， ，则称则称 为为离散时间、离散状态的马尔可离散时间、离散状态的马尔可夫过程夫过程，或简称为，或简称为马尔可夫链马尔可夫链。 0 1 2nXn ,，,，001111kkkkP XiXiXiXi， ， 设设 是马尔可夫链，对任意的是马尔可夫链，对任意的 ，计算，
4、计算 的联合分布律的联合分布律0nXn ，1k 011kkXXXX， ，001111001111 |kkkkkkP XiXiXiP Xi XiXiXi， ， ，00111111 |kkkkkkP XiXiXiP Xi Xi， ，00112211002211 | |kkkkkkkkkkP XiXiXiP XiXiXiP Xi Xi， ， ，00110011 | |kkkkP XiP XiXiP Xi Xi二、转移概率二、转移概率 乘法公式乘法公式马氏性马氏性 即马尔可夫链即马尔可夫链 的有限维分布完全由的有限维分布完全由初始初始分布分布 和和 条件概率条件概率 确定确定. .0nXn ，0P X
5、i1|nnP Xj Xi00110011 |kkkkP XiP XiXiP Xi Xi马氏性马氏性( )00( )10.ijijj SpnijSnpniSn ，；， 当当 固定时，一步转移概率固定时，一步转移概率 实质上就是实质上就是在在 的条件下，随机变量的条件下，随机变量 的条件分布律，所以的条件分布律，所以条件分布律满足：条件分布律满足： in，( )ijpnnXi1nX 定义定义1 1 设设 是马尔可夫链，记是马尔可夫链，记0nXn ，1( )|ijnnpnP Xj Xi称称 为马尔可夫链为马尔可夫链 在时刻在时刻 时的时的一步转一步转移概率移概率。nijp0nXn ，二、转移概率二、
6、转移概率 定义定义2 2 设设 是马尔可夫链，若其一步转移是马尔可夫链，若其一步转移概率概率 与时间与时间 无关，即无关，即0nXn ，ijpn110|ijnnpP Xj XiP Xj Xi则称则称 为为齐次马尔可夫链齐次马尔可夫链，称，称 为从状态为从状态 转移到状态转移到状态 的一步转移概率的一步转移概率. .ijpij0nXn ， 若马尔科夫链若马尔科夫链 的状态空间是有限集，则的状态空间是有限集，则称称 为为有限状态有限状态的马尔科夫链；的马尔科夫链；0nXn ，0nXn ， 若马尔科夫链若马尔科夫链 的状态空间是可列集，则的状态空间是可列集，则称称 为为可列状态可列状态的马尔科夫链的
7、马尔科夫链. .0nXn ，0nXn ，二、转移概率二、转移概率矩阵的每一行都矩阵的每一行都是一条件分布律是一条件分布律 记记 . .称称 为齐次马尔可夫链的为齐次马尔可夫链的初始分布初始分布. .010()()iP XiiS， ， 齐次马尔科夫链的齐次马尔科夫链的有限维分布族有限维分布族完全由完全由其一步转移其一步转移概率矩阵概率矩阵 和和初始分布初始分布 确定确定. .P则称矩阵则称矩阵 为齐次马尔科夫链的为齐次马尔科夫链的一步转移概率矩阵一步转移概率矩阵. .P 定义定义3 3 设设 是齐次马尔可夫链，其一步是齐次马尔可夫链，其一步转移概率为转移概率为 ，记，记( ,)ijpi jS0n
8、Xn ，000010210111212021222021()jjjiiijijippppppppppppPppppp二、转移概率二、转移概率例例1 (1 (一个简单的疾病死亡模型一个简单的疾病死亡模型) )2342234SSSSSSS111考虑一个包含两个健康状态S 和 以及两个死亡状态和 （即由不同原因引起的死亡）的模型。若个体病愈，则认为它处于状态S，若患病，则认为它处于 ，个体可以从S，进入 和 ，易见这是一个马氏链，转移矩阵为111213142122232400100001ppppppppP三、马氏链的例子三、马氏链的例子1, | ,0,1, ijnnpjipP Xj Xii jqji
9、 例例2 2 (0-1(0-1传输系统或传输系统或简单信号模型简单信号模型) )如图所示，只传输数字如图所示，只传输数字0 0和和1 1的串联系统中，设每一级的传真率为的串联系统中，设每一级的传真率为p p，误码率为误码率为q=1-pq=1-p。并设一个单位时间传输一级，并设一个单位时间传输一级，X X0 0是第是第一级的输入，一级的输入，X Xn n是第是第n n级的输出级的输出(n1)(n1)，那么，那么XXn n,n=0,1,2,n=0,1,2是一随机过程，状态空是一随机过程，状态空间间S=0,1S=0,1，而且当，而且当X Xn n=i=i为已知时，为已知时，X Xn+1n+1所处的状
10、态的概率分布只与所处的状态的概率分布只与X Xn n=i=i有关，而与时刻有关，而与时刻n n以前所处的状态无关，所以它是一个马氏链，以前所处的状态无关，所以它是一个马氏链，而且还是齐次的，它的一步转移概率和一步转移概率矩阵分别为：而且还是齐次的，它的一步转移概率和一步转移概率矩阵分别为：n21X0X1X2XnXn-1pqPqp三、马氏链的例子三、马氏链的例子 例例3 (3 (带有一个吸收壁的随机游动带有一个吸收壁的随机游动) )质点在直线上作质点在直线上作随机游动随机游动. .在某一时刻质点位于在某一时刻质点位于 ，则下一步质点以概率，则下一步质点以概率 向右移动一格到达向右移动一格到达 ；
11、或以概率；或以概率 向左移动向左移动一格到达一格到达 . .但当质点一旦到达原点但当质点一旦到达原点 ，则质点永远停，则质点永远停留在原点留在原点 ，不再移动，不再移动. .状态状态 称为称为吸收态吸收态. .以以 表示表示质点在时刻质点在时刻 的位置的位置. . 则则 是齐次马尔可夫链，是齐次马尔可夫链，称其为带一个吸收壁的随机游动称其为带一个吸收壁的随机游动. .求其一步转移概率矩阵求其一步转移概率矩阵. .p1i inX0nXn ，n1qp 1i 000三、马氏链的例子三、马氏链的例子 解：解：马尔科夫链的马尔科夫链的 的状态空间为：的状态空间为：012nXn ， ， ， 0 1 2S
12、，一步状态概率为：一步状态概率为：1|nnP Xj Xi 10jii ，；若若p， 10jii ，；若若q，0ji ；若若1，. .其其他他情情形形0，一步状态概率矩阵为：一步状态概率矩阵为：10000000000qpPqp 三、马氏链的例子三、马氏链的例子13452 例例4 4设一醉汉设一醉汉Q(Q(或看作一随机游动的质点或看作一随机游动的质点) )在直线上在直线上的点集的点集S=1,2,3,4,5S=1,2,3,4,5作随机游动，且仅在作随机游动，且仅在1 1秒、秒、2 2秒等时秒等时刻发生游动，游动的概率规则是：如果刻发生游动，游动的概率规则是：如果Q Q现在位于点现在位于点i(1i5)
13、i(1i5)，则下一时刻各以，则下一时刻各以 的概率向左或向右移动一的概率向左或向右移动一格，或以格，或以 的概率留在原处；如果的概率留在原处；如果Q Q现在处于现在处于1(1(或或5)5)这这一点上，则下一时刻就以概率一点上，则下一时刻就以概率1 1移动到移动到2(2(或或4)4)这点上，这点上，1 1和和5 5这两点称为这两点称为反射壁反射壁，这种游动称为带有两个反射壁的，这种游动称为带有两个反射壁的随机游动随机游动。以以X Xn n表示时刻表示时刻n n时时Q Q的位置，说明的位置，说明 X Xn n, ,n n = = 0,1,2 0,1,2 是一齐次马氏链，并写出它的一步转移概率矩是
14、一齐次马氏链，并写出它的一步转移概率矩阵。阵。1 31 3三、马氏链的例子三、马氏链的例子解：解：它的一步转移概率矩阵为：它的一步转移概率矩阵为： 如果把如果把1 1这点改为吸收壁，即这点改为吸收壁，即Q Q一旦到达一旦到达1 1这一点，则永远这一点，则永远留在点留在点1 1时，此时的转移概率矩阵为：时，此时的转移概率矩阵为：1113331113331113330100000 000000010P1113331113331113331000000 000000010P三、马氏链的例子三、马氏链的例子 例例5 5( (无限制随机游动无限制随机游动) )质点在直线上作随机游动质点在直线上作随机游动
15、. .在某在某一时刻质点位于一时刻质点位于 ，则下一步质点以概率，则下一步质点以概率 向右移动一格向右移动一格到达到达 ；或以概率；或以概率 向左移动一格到达向左移动一格到达 . .以以 表示质点在时刻表示质点在时刻 的位置的位置. . 则则 是状态无是状态无限的马尔科夫链，求其一步转移概率矩阵限的马尔科夫链，求其一步转移概率矩阵. .nX0nXn ，pn1qp 1i 1i i解：解：马尔科夫链的马尔科夫链的 的状态空间为：的状态空间为：012nXn ， ， ，12 0 1 2S ， ， ，一步状态概率为：一步状态概率为：1|nnP XjXi 1ji ；若若p， 1ji ；若若q，其其他他情情
16、形形. .0，一步状态概率矩阵为：一步状态概率矩阵为：00000qpPqp 称称 为马尔可夫链在时刻为马尔可夫链在时刻 时处于状态时处于状态 经过时经过时间间 后转移到状态后转移到状态 的概率的概率. .n( )nijpi，mj设设 是马尔可夫链，其状态空间为是马尔可夫链，其状态空间为0,1,2nXn ,0,1,2S , ,记马尔可夫链的记马尔可夫链的 步转移概率为步转移概率为n( )|nn mmijpP Xj Xi四、四、n n步转移概率、步转移概率、C-KC-K方程方程()()( )mnmnijikkjkSppp称此式为称此式为切普曼柯尔莫洛夫方程切普曼柯尔莫洛夫方程，简称简称C-KC-K
17、方程方程 . . 定理定理 设设 是马尔可夫链，其状态空是马尔可夫链，其状态空间为间为 ，则对任意的，则对任意的 ，有，有0,1,2nXn ,0,1,2S , ,0, ,m ni jS从状态从状态 出发经过出发经过 步到达状态步到达状态 ，可分成两步走：，可分成两步走：imnj先从状态先从状态 出发经过出发经过 步到达状态步到达状态 ；imk然后再先从状态然后再先从状态 出发经过出发经过 步到达状态步到达状态 ；knj 由马氏性知，后一阶段的状态转移与前一阶段的状由马氏性知，后一阶段的状态转移与前一阶段的状态转移独立，故两个阶段的转移概率可相乘态转移独立，故两个阶段的转移概率可相乘. .四、四
18、、n n步转移概率、步转移概率、C-KC-K方程方程mi ik kj jk k0 0nm()0|mnijmnpP Xj Xi0|mnkSmP XjXkXi，00|mm nmk SP Xk XiP Xj XkXi，0|mm nmk SP Xk XiP Xj Xk()( )mnikkjkSpp证明：证明：四、四、n n步转移概率、步转移概率、C-KC-K方程方程记齐次马尔科夫链的记齐次马尔科夫链的 步转移概率矩阵为：步转移概率矩阵为：m()()()mmij SijPp 则齐次马尔科夫链的切普曼柯尔莫洛夫方程可用则齐次马尔科夫链的切普曼柯尔莫洛夫方程可用如下矩阵形式表示：如下矩阵形式表示：(2)2(
19、3)(2)3()(1)()()( )mmmm nmnPP PPPPPPPPPPPPP，kas us u v tsiaja0isijs u vjsaXaCKuvaXa “从时刻 所处的状态 ，即出发，经时方程基于段转移到下述状态 ，即事实：”四、四、n n步转移概率、步转移概率、C-KC-K方程方程四、四、n n步转移概率、步转移概率、C-KC-K方程方程CK由方程可得二步转移概率矩阵为：5518161625311621639116164PP(2) 022024001115511 0,1,13 16296P XXXp PP 1 2224001115512 1,1|016232P XXXPP314
20、41114243144 0 1 20012 0P解：解： 002424012340,00,1,210 0,1,23 1 0,1,1 2 1,1|0 3 0,0,0,0|0niX npP XiiP XXXP XXXP XXXXX设是具有三个状态的齐次马氏链，一步转移概率矩阵为： 初始分布 试求例： 例例 ( (天气预测简单模型天气预测简单模型) )假设明天是否下雨仅与今假设明天是否下雨仅与今天的天气天的天气( (是否下雨是否下雨) )有关，而与过去的天气无关有关，而与过去的天气无关. .假设今假设今天下雨、明天有雨的概率为天下雨、明天有雨的概率为 ，今天无雨而明天有雨的，今天无雨而明天有雨的概率
21、为概率为 ；又假设把有雨称为；又假设把有雨称为 状态天气，把无雨称为状态天气，把无雨称为 状态天气状态天气. .记记 表示第表示第 天的天气状态天的天气状态. .则则 是状态有限的马尔科夫链是状态有限的马尔科夫链. . 1. 1.求其一步转移概率矩阵；求其一步转移概率矩阵； 2.2.若若 ，且今天有雨，求第四天有雨的，且今天有雨，求第四天有雨的概率概率. .nX0nXn ，100.70.4，n四、四、n n步转移概率、步转移概率、C-KC-K方程方程10 |0nnP XX10 |1nnP XX一步状态概率矩阵为：一步状态概率矩阵为：1-1-P因为因为0.7 0.30.4 0.6P2(2)20.
22、7 0.30.61 0.390.4 0.60.52 0.48PP(4)(2)(2)0.5749 0.42510.5668 0.4332PPP所以若今天无雨，第四天下雨的概率为所以若今天无雨，第四天下雨的概率为0.57490.5749四、四、n n步转移概率、步转移概率、C-KC-K方程方程第二节第二节 状态的分类及性状态的分类及性质质一、到达与相通一、到达与相通二、首达时间与首达概率二、首达时间与首达概率三、首达概率的基本性质三、首达概率的基本性质四、状态的分类四、状态的分类五、闭集和状态空间的分解五、闭集和状态空间的分解一、到达与相通一、到达与相通一、到达与相通一、到达与相通二、首达时间与首
23、达概率二、首达时间与首达概率二、首达时间与首达概二、首达时间与首达概率率二、首达时间与首达概率二、首达时间与首达概率三、首达概率的基本性质三、首达概率的基本性质三、首达概率的基本性质三、首达概率的基本性质三、首达概率的基本性质三、首达概率的基本性质现在来推导基本性质2以此类推ijijijppf)1()1(jjijijijpfpf)1()2()2(jjijjjijijijpfpfpf)2()2()1()3()3(ijnijnijijnjjijnijnijpfpfpfpf)1()2()2()1()1()()(.)(1)()(lnjjnllijnijpfp三、首达概率的基本性质三、首达概率的基本性质
24、 一旦确定了这些首达概率，便可用来计算各种概率和所关心的量如下：（1）系统初始状态为i在m次转移内进入状态j（至少1次）的概率为：（2）系统自状态i开始最终达到状态j的概率即可由下式给 出：（3）系统自状态i开始最终回到状态i的概率为：mnnijmijfq1)()(ijnnijijffq1)()(iinniiijffq1)()( （4）状态i的平均循环时间为系统自离开状态i的时间开始直到后来首次回到状态i的时间止这段的加权平均时间。因此， 此外，状态i的期望持续期的长度为直到系统首次离开状态i时为止的加权平均时间。因此，期望持续时间为 为了说明，可以考虑二类状态的马尔可夫链。应用以上方程，例如
25、1)()(nniiinfEt循环时间iiiinniiippnpl11)1 (112212221121122122212111)(11)(1111pppppppppfqmmnmmnnm 12212)(11121121221, 1,1mmppqpppp可得出且因为mmmnnmnnmppppppfq111111121121111)(12)(12111同理，11121)(2222)(2111mmmmppqpq对于平均持续时间，由前面方程得12111111ppl同理，2121pl平均循环时间为21222212111)(111ppnppnftnnnn同理，例 以天气预测简单模型为例子，试确定（a）设今日为
26、雨天，问后天首次又为雨天的概率如何？（b）设今日为雨天，问后五日内至少有一晴天的概率如何？（c）问持续晴天的期望长度为何？持续雨天的期望长度？（d）如今日为雨天，则直到下一雨天止，这段时间的期望长度为何？22222211211122121121111)1 (1) 1(ppppppipppii21121pp122121ppt(a)从今天起两天以后首次为雨天的概率为：(b)后五日至少有一晴天的概率为：(c)持续晴天和持续雨天的平均天数分别为：(d)雨天的期望循环时间为：1-1-P)1 (1001)2(00ppf5500)5(0111pq11110010ppt11101pl111010pl四、四、
27、状态的分类状态的分类定义 对于状态 ，如果 ，则称状态i为循环状 态（常返态）；如果 ，则称状态i为瞬时状态（非常返态）。 在有两种状态的马尔可夫链的情况下， 可用 代入方程 ， 中求出。如果为一阶转移概率，即 ，则 ，表明状态1和2为循环状态。另一方面，如果 ， 则 ，表明状态2可能不再来到，因而，状态2是瞬时状态。 Si 指系统自状态指系统自状态i i开始，一定最终回到状态开始，一定最终回到状态i i；指系统自状态指系统自状态i i开始将具有一个有限的概率不再开始将具有一个有限的概率不再回到状态回到状态i i。0.1ijp2211ff和m12212)(111mmppq11121)(221m
28、mppq0 . 12211 ff0 .111p0 .121p0 . 111211121)(2222pppqf 对于马尔可夫链中的状态j，如果其一阶转移概率为 ，则称此状态为吸收状态。因此，吸收状态被定义为一种状态，系统在此状态中除去它本身状态之外，不能再转移到任何其他状态中去。 如果在马尔可夫链中存在着一种吸收状态，则系统最终将到达并进入该吸收状态。一个马尔可夫链可以含有一个以上的吸收状态。这种情况下，只有一个吸收状态能够永远到达。重要的是对于具有给定的初始状态i的系统会被吸收到某一特定吸收状态j的概率。此吸收概率等于自状态i永远到达状态b的概率，即 。0 . 1jjpijf 应用全概率公式，
29、得 当初始状态为j时，则系统已经被吸收再j中；而当初始状态处于某一其他吸收状态，例如在a，则系统将不再能被吸收到j，因而 。)(0iXjPfij永远到达吸收状态jrj.,2, 10ajfikrkkjikrkrkpfpkjPiXkXPkXiXjP1101110)()(),(初始状态为永远到达永远到达 另一重要的量是系统自某给定的初始状态开始到被吸收以前的平均时间。如果初始状态为i，令吸收的平均时间为mj，则 此方程为一组线性联立方程式，因此可求得以转移概率表达的平均吸收时间mj。可以看出，如果状态i为一吸收状态，则系统已处于吸收状态，此时， 。iXEmi0吸收时间ikrkkikrkrkpmpkE
30、iXkXPkXiXE11011101)(1)(),(初始状态为吸收时间吸收时间吸收状态jrj.,2 , 10im第三节第三节 极限性态及平稳分布极限性态及平稳分布第三节第三节 极限性态及平稳分布极限性态及平稳分布一、一、 的极限性态的极限性态nP第三节第三节 极限性态及平稳分布极限性态及平稳分布一、一、 的极限性态的极限性态nP告诉我们告诉我们极限极限 如何来求！如何来求！第三节第三节 极限性态及平稳分布极限性态及平稳分布一、一、 的极限性态的极限性态nP二、平稳分布二、平稳分布第三节第三节 极限性态及平稳分布极限性态及平稳分布二、平稳分布二、平稳分布第三节第三节 极限性态及平稳分布极限性态及
31、平稳分布二、平稳分布二、平稳分布二、平稳分布二、平稳分布第三节第三节 极限性态及平稳分布极限性态及平稳分布三、三、 的存在性的存在性lim( )jnn四、例子四、例子第三节第三节 极限性态及平稳分布极限性态及平稳分布四、例子四、例子第三节第三节 极限性态及平稳分布极限性态及平稳分布四、例子四、例子第三节第三节 极限性态及平稳分布极限性态及平稳分布N某人为了在下雨的时候上下班方便，购置了 把雨伞，分别放在家里和办公室.如出门时天晴，则不带雨伞，如出门遇到下雨，则随手取一把雨伞用.如遇到下雨而身边又没有雨伞，则被雨淋.假设天是否下雨是随机的.问至少应购置多少把雨伞 ，才能使得被雨淋的概率不大于0.
32、05.例 雨伞问题( ).nn解 设第 次出门时，身边的雨伞数为 ( )0nn则，是马氏链，其状态空间为0SN，1，2， ，. p假设下雨的概率先求其一步转移概率续(1)njjN若 第 次 出 门 时 ， 身 边 (从 家 里 出 发 ， 或 从办 公 室 下 班 )有把 雨 伞 ， 则 有11nNj(1)如果出门时正好下雨则带一把雨伞走，因此第次出门时(从办公室下班，或从家里出发)身边有把雨伞1.nNj(2)如果不下雨则不带一把雨伞走，因此第次出门时(从办公室下班，或从家里出发)身边有把雨伞nN若第 次出门时，身边(从家里出发，或从办公室下班)有 把雨伞，即所有雨伞均在身边，则有11n (3
33、)如果出门时正好下雨则带一把雨伞走，因此第次出门时(从办公室下班，或从家里出发)身边有 把雨伞10.n (4)如 果 不 下 雨 则 不 带 一 把 雨 伞 走 ， 因 此 第次 出 门 时 (从 办 公 室 下 班 ， 或 从 家 里 出 发 )身 边有 把 雨 伞续012N-1N1不下雨不下雨1-p下雨下雨pN-2不下雨不下雨1-p下雨下雨p不下雨不下雨1-p下雨下雨p不下雨不下雨下雨下雨p不下雨不下雨1-p下雨下雨p0n若第 次出门时，身边(从家里出发，或从办公室下班)有 把雨伞，即所有雨伞均在身边，则有1nN(5)不管下不下雨都没有雨伞可带，因此第次出门时(从办公室下班，或从家里出发)
34、身边有把雨伞 p下雨的概率是状态间的转移关系如下：续000001000010001010000ppPpppp ( )0Pn 所以该马氏链是遍历的不可约马氏链，故平稳分布存在且唯一.身边没雨伞的概率为其一步转移转移概率矩阵为续01()1NqpP 设， ，记，则由方程组 ，有11 0NjNjNjNqqpjNp 00， 长时间后，概率 与初始分布无关，近似于其平稳分布 ( )0Pn续000011 11 ()()Npp qq1由第一和第三个方程有1j 由第二个方程，令，得到11111()NNNNqppq000021 1111()(1)ppq qqqq01 1.jjNq类似可得到，2，3， ，02 1
35、N1由得0.qqN0 pqpqN所以出门时遇到下雨而且身边又没有雨伞的概率是0 0.05.pqpqN由题意知，要求 1/4ppq但天下雨的概率未知，用估计得到pqpq1q+NN4N10.0554NN由得到小结：关于离散马氏链的分析小结：关于离散马氏链的分析 (1) (1)先确定马氏链的一步转移概率矩阵先确定马氏链的一步转移概率矩阵P P ； 整个研究的出发点整个研究的出发点. . (2) (2)根据一步转移概率矩阵根据一步转移概率矩阵P P，对状态进行分类，对状态进行分类，确定状态的周期性；确定状态的周期性； (3)(3)判断状态的常返性非常返、正常返、零判断状态的常返性非常返、正常返、零常返
36、；常返； (4)(4)分析马氏链的平稳分布和转移概率的极限分分析马氏链的平稳分布和转移概率的极限分布；布； (5)(5)根据实际问题，作相关分析根据实际问题，作相关分析. . 例例 ( (离散分支过程离散分支过程) ) 考虑一生物种群的繁殖考虑一生物种群的繁殖. .假设开假设开始时种群的个体数为始时种群的个体数为 ，称之为第，称之为第 代代. .由第由第 代个体代个体繁殖产生的后代称为第一代，第一代个体的数目记为繁殖产生的后代称为第一代，第一代个体的数目记为 . .如此继续下去，第如此继续下去，第 代个体繁殖产生的个体称为第代个体繁殖产生的个体称为第 代，第代，第 代个体的数目记为代个体的数目
37、记为 . .假设同一代中各个个体假设同一代中各个个体繁殖产生的后代个数是相互独立的，且与种群以前的繁繁殖产生的后代个数是相互独立的，且与种群以前的繁殖过程无关殖过程无关. .每一个个体均可产生每一个个体均可产生 个后代，个后代， 是非负整是非负整数值随机变量数值随机变量. .则则 是齐次马尔科夫链是齐次马尔科夫链. .0Xn0 1 2nXn ，01n 01XnnX第四节第四节 马尔可夫链的应马尔可夫链的应用用第第 代个体代个体1nX1n 第第 代个体代个体nXn 即第即第 代个体总数代个体总数 是第是第 代各个个体繁殖的后代个代各个个体繁殖的后代个体数之和体数之和. .所以第所以第 代个体的总数代个体的总数 完全由第完全由第 代的个代的个体数体数 决定决定. .nXnX1nXn1n n1n 由题意知，随机变量序列由题意知，随机变量序列 相互独立且与相互独立且与 同分布，且有同分布，且有11 2 1 2niXni， ，解：解：nX11 11 21nnnnXXXX，1 0nX若若；0，1 0nX若若. .称此形式的马氏链称此形式的马氏链nX为为分支过程分支过程. .分支过程主要关心的问题是：分支过程主要关心的问题是：种群灭绝的概率及时间种群灭绝的概率及时间. .种群是否会爆炸？种群是否会爆炸？
