1、4.4 渐近性质与平稳分布渐近性质与平稳分布 88.004.008.02.07.01.02.01.07.0P例例1：甲、乙、丙三个状态用：甲、乙、丙三个状态用1,2,3表示表示 0.7984 0.0712 0.13040.3360 0.5080 0.15600.3360 0.1480 0.51602P两步转移概率矩阵：两步转移概率矩阵：10步转移概率矩阵：步转移概率矩阵：0.6329 0.1511 0.2160 0.6118 0.1684 0.2198 0.6118 0.1624 0.2258 10P)(limnijnp 是否存在？是否存在？有什么特点？有什么特点？例例2(蜘蛛和苍蝇蜘蛛和苍蝇
2、)1 0 0 0 0.3 0.4 0.3 0 0 0.3 0.4 0.30 0 0 1 P 1.0000 0 0 0 0.5466 0.1201 0.1200 0.2133 0.2133 0.1200 0.1201 0.5466 0 0 0 1.0000 4P 1.0000 0 0 0 0.6667 0.0000 0.0000 0.3333 0.3333 0.0000 0.0000 0.6667 0 0 0 1.0000 30P即当即当n足够大时，出现什么现象？即足够大时，出现什么现象？即)(limnijnp 是否存在？是否存在？有什么特点？有什么特点？例：已知马氏链转移图如下，求从状态例：已
3、知马氏链转移图如下，求从状态1出发出发再返回再返回1的的n步转移概率，步转移概率，n=1,2,8212112311 01021021010P 21021010210212PPP 010210210103 是偶数是偶数，是奇数是奇数nnPn21,0)(11即当即当n足够大时足够大时)(limnijnp 是否存在？是否存在？一、渐进性质一、渐进性质(状态有限状态有限)在马尔科夫链的模型中在马尔科夫链的模型中,我们常常对我们常常对n非常非常大时大时,n步转移概率步转移概率Pij(n)的极限行为感兴趣。的极限行为感兴趣。Pij(n)可能可能收敛于一个固定的值，并收敛于一个固定的值，并独立独立于于初始状
4、态；初始状态；Pij(n)的极限值也有可能会的极限值也有可能会依赖依赖于初始状态于初始状态 Pij(n)也可能是也可能是不收敛不收敛的。的。我们希望了解什么情况下具有这种性质。我们希望了解什么情况下具有这种性质。88.004.008.02.07.01.02.01.07.0P例：甲、乙、丙三个状态用例：甲、乙、丙三个状态用1,2,3表示表示 0.6329 0.1511 0.2160 0.6118 0.1684 0.2198 0.6118 0.1624 0.2258 10P1234567891000.10.20.30.40.50.60.7)(11np)(21np)(31np123456789100
5、0.10.20.30.40.50.60.7)(12np)(22np)(32np123456789100.20.30.40.50.60.70.80.91)(13np)(23np)(33np 只有一个常返类，状态有限，非周期只有一个常返类，状态有限，非周期的的马尔科夫链：每一个状态马尔科夫链：每一个状态j，处于状态，处于状态j的概的概率率pij(n)趋近于一个独立于初始状态趋近于一个独立于初始状态i的极限的极限值。这个极限值记为值。这个极限值记为 j，称之为，称之为稳态概率稳态概率。例例1某同学上一门概率课，他每周可能进步，某同学上一门概率课，他每周可能进步，也可能落后。如果在给定的一周里，他进也
6、可能落后。如果在给定的一周里，他进步了，那么他下一周进步（或落后）的概步了，那么他下一周进步（或落后）的概率是率是0.8（或（或0.2）。相应的，如果在给定的）。相应的，如果在给定的一周里，他落后了，那么他下一周进步一周里，他落后了，那么他下一周进步（或落后）的概率是（或落后）的概率是0.6（或（或0.4）.我们假我们假定这些概率都不依赖于他之前的每周是否定这些概率都不依赖于他之前的每周是否进步或落后，所以该问题是一个典型的马进步或落后，所以该问题是一个典型的马尔科夫链的问题（未来的状态只依赖于当尔科夫链的问题（未来的状态只依赖于当前的状态）。前的状态）。转移概率图为：转移概率图为：转移概率矩
7、阵是：转移概率矩阵是：n步状态转移概率矩阵：步状态转移概率矩阵：4.06.02.08.0 4.06.02.08.0)1(ijp 28.072.024.076.0)2(ijp 256.0744.0248.0752.0)3(ijp 2512.07488.02496.07504.0)4(ijp 2502.07498.02499.07501.0)5(ijp n步转移概率步转移概率pij(n)的变化趋势图：的变化趋势图：我们发现，当我们发现，当n时，每一个时，每一个pij(n)都收都收敛于一个极限值，这个极限值不依赖于初敛于一个极限值，这个极限值不依赖于初始状态始状态i，只与，只与j有关。有关。2.极限
8、值极限值依赖依赖于初始状态于初始状态 例例2(蜘蛛和苍蝇蜘蛛和苍蝇)一只苍蝇在一条直线上移一只苍蝇在一条直线上移动，每次移动一个单位长度。每单位时间，动，每次移动一个单位长度。每单位时间，它以它以0.3的概率向左移动一个单位，以的概率向左移动一个单位，以0.3的的概率向右移动一个单位，且以概率向右移动一个单位，且以0.4的概率停的概率停留在原地，并且它们独立于过去的移动。留在原地，并且它们独立于过去的移动。两只蜘蛛等在位置两只蜘蛛等在位置1和位置和位置m：如果苍蝇达：如果苍蝇达到这个位置，它将被蜘蛛捕捉，于是过程到这个位置，它将被蜘蛛捕捉，于是过程结束。我们将用马尔科夫链模型，假设苍结束。我们
9、将用马尔科夫链模型，假设苍蝇开始于蝇开始于1和和m中间的某一个位置。中间的某一个位置。状态转移概率图：状态转移概率图：转移概率矩阵：转移概率矩阵：10003.04.03.0003.04.03.00001P 10003.04.03.0003.04.03.00001)1(ijp 100042.025.024.009.009.024.025.042.00001)2(ijp 10005.017.017.016.016.017.017.05.00001)3(ijp 100055.012.012.021.021.012.012.055.00001)4(ijp 10003/2003/13/1003/2000
10、1)(ijp n步状态转移概率矩阵：步状态转移概率矩阵：n步转向状态步转向状态“1”的概率的概率pi1(n)的趋向示意的趋向示意图：图：Pij(n)依旧收敛，但是极限值依赖于初始状态。依旧收敛，但是极限值依赖于初始状态。如果一个马尔科夫链如果一个马尔科夫链有两个或多个常返类有两个或多个常返类，则则pij(n)的极限值依赖于初始状态。的极限值依赖于初始状态。但当但当j是非常返状态时，是非常返状态时，pij(n)的极限值等于的极限值等于0 10003/2003/13/1003/20001)(ijp 3.pij(n)也可能是也可能是不收敛不收敛的的 例例3 下图所示的马尔科夫链，周期为下图所示的马尔
11、科夫链，周期为2，由，由单个常返类组成。单个常返类组成。状态转移矩阵为状态转移矩阵为212112311 01021021010P n步转移概率矩阵为：步转移概率矩阵为：考察状态考察状态1，可以看出：，可以看出：因此，因此，是不收敛的。是不收敛的。同样，其他的同样，其他的n步转移概率也是不收敛的。步转移概率也是不收敛的。01021021010P 21021010210212PPP 010210210103 是偶数是偶数，是奇数是奇数nnPn21,0)(11)(11nP如果马尔科夫链是有周期的，则如果马尔科夫链是有周期的，则pij(n)没有没有极限值。但子序列上有极限。极限值。但子序列上有极限。)
12、13(13lim nnp)23(32lim nnp)3(66limnnp 等等是存在的。一般的：等等是存在的。一般的：定理定理4.14 如如j是正常返状态，周期为是正常返状态，周期为d，则则对任意对任意i及及0 r d-1，有有jijrndijndrfp)(lim)(总之：总之：1.如果如果一个马尔科夫链如果如果一个马尔科夫链只有一个常返类，只有一个常返类，加上一些可能存在的非常返状态，对每一加上一些可能存在的非常返状态，对每一个状态个状态j，处于状态，处于状态j的概率的概率pij(n)趋近于一个趋近于一个独立于初始状态独立于初始状态i的极限值。这个极限值记的极限值。这个极限值记为为 j，有如
13、下表示：，有如下表示：j P(Xn=j)(当当n很大很大时时)，并且称之为并且称之为稳态概率稳态概率。2.如果有两个或多个常返类，则如果有两个或多个常返类，则pij(n)的极限的极限值一定依赖于初始状态值一定依赖于初始状态 3.如果马尔科夫链是有周期的，则如果马尔科夫链是有周期的，则pij(n)没有没有极限值。极限值。4.非常返状态极限为非常返状态极限为0附：非常返状态极限性质证明附：非常返状态极限性质证明 定理定理4.13(1)如如果果 j 非常返非常返，则，则 证证 若若j非常返，则由定理非常返，则由定理4.5，从而从而 由定理由定理4.44.4，对，对Nn，Iipnijn ,0lim)(
14、1)(nnjjp0lim)(njjnp 固定固定N，先令先令n，1)(1)(1)()()(limlimlimNkkijnNkkijnNkknjjnkijnijnffpfp,11)(ijkkijff又因又因01)(NkkijfN时，时，所以当所以当0lim)(nijnp从而从而 nNkkijNkknjjkijnkknjjkijnijfpfpfp1)(1)()(1)()()(注：对于任意马氏链，当注：对于任意马氏链，当n时，非常返时，非常返状态都有稳态概率状态都有稳态概率0.例如：例如：非常返状态非常返状态2和和3的稳态概率为的稳态概率为0.即即 10003/2003/13/1003/20001)
15、(ijr032 状态无限多时：状态无限多时：推论推论1 1 有限状态有限状态的马氏链，不可能全是非常的马氏链，不可能全是非常返状态，也不可能含有零常返状态，从而返状态，也不可能含有零常返状态，从而不不可约的有限状态可约的有限状态的马氏链必为正常返的。的马氏链必为正常返的。推论推论2 2 如马氏链有一个零常返状态，则必有如马氏链有一个零常返状态，则必有无限多个零常返状态。无限多个零常返状态。定理定理4.13(2)4.13(2)如如果果 j 零零常返常返，则，则Iipnijn ,0lim)(定理定理4.13(2)如如果果 j 零零常返常返，则，则 证证 若若j零常返，则由定理零常返，则由定理4.7
16、4.7推论，推论，其他和非常返状态类似其他和非常返状态类似Iipnijn ,0lim)(0lim)(njjnp 推论推论1 1 有限状态有限状态的马氏链，不可能全是非常返的马氏链，不可能全是非常返状态，也不可能含有零常返状态，从而状态，也不可能含有零常返状态，从而不可约的不可约的有限状态有限状态的马氏链必为正常返的。的马氏链必为正常返的。证证 设设I=0,1,N，如如I全是非常返状态，则全是非常返状态，则对任意对任意i,j I，由定理由定理4.13知知,0lim)(nijnp故故,0limlim10)(0)(NjnijnNjnijnpp矛盾。矛盾。如如I含有零常返状态含有零常返状态i，则则C=
17、j:ij是有限不是有限不可约闭集，由定理可约闭集，由定理4.10知，知，C中均为零常返状中均为零常返状态，由定理态，由定理4.13知，知，Cjpnijn ,0lim)(由引理由引理4.5知知,1)(Cjnijp 所以所以矛盾。矛盾。,0limlim1)()(CjnijnCjnijnpp推论推论2 2 如马氏链有一个零常返状态，则必有如马氏链有一个零常返状态，则必有无限多个零常返状态。无限多个零常返状态。证证 设设i为零常返状态为零常返状态，则则C=j:ij是不可约是不可约闭集，闭集，C中均为零常返状态，故中均为零常返状态，故C不能是有限不能是有限集。否则，集。否则，矛盾。矛盾。,0limlim1)()(CjnijnCjnijnpp4.4 4.4 渐近性质与平稳分布渐近性质与平稳分布 定理定理4.15 对任意状态对任意状态i,j有有 推论推论 如如Xn不可约、常返，则对任意不可约、常返，则对任意 i,j有有正常返正常返如如非常返或零常返非常返或零常返如如jfjpnjijnkkijn,01lim1)(jnkkijnpn 11lim1)(
