1、随机信号分析中国民航大学电子信息工程学院贾桂敏马尔可夫过程定义转移概率齐次性平稳性遍历性其它性质马尔可夫性（无后效性）实际中有一类很广泛的随机过程，其特点体现在过程中各个时刻的随机变量有一定的相依（非独立）关系。具体地说就是：过去只影响现在，而不影响将来。这种随机过程叫做马尔可夫过程。PP将来|现在、过去将来|现在或者说：当随机过程在时刻 ti 所处的状态已知时，过程在时刻 t (t ti) 所处的状态仅与过程在时刻 ti 的状态有关，而与过程在时刻 ti 以前所处的状态无关。此特性称为随机过程的无后效性或马尔可夫性。马尔可夫过程分类按其状态空间I 和时间t 参数集是连续还是离散可分成四类。(
2、 )X n( )X t讨论内容：定义；转移概率及转移概率矩阵；齐次性；平稳分布；遍历性；其它性质。马尔可夫序列的定义1211( )(|,)(|)XnnnXnnX nFxxxxFxx定义：随机序列称为马尔可夫序列，若满足将将现现过过将将现现1211(|,)(|)XnnnXnnfxxxxfxx等价为：推广：多重马尔可夫序列。二重马尔可夫序列满足123112(|,)(|,)XnnnnXnnnFxxxxxFxxx将将现现过过将将现现将将现现过过将将现现1111(|,)(|,)Xnnn kn kXnnn kFxxxxxFxxx k重马尔可夫序列重马尔可夫序列马尔可夫序列的性质11112(|,)(|)nn
3、nnXkkkXkknfxxxfxxkkk，1 1、子序列仍为马尔可夫序列子序列仍为马尔可夫序列 。2 2、逆序列仍为马尔可夫序列逆序列仍为马尔可夫序列 。121|,|Xnnnn kXnnfxxxxfxx3 3、若现在已知，则未来与过去独立。若现在已知，则未来与过去独立。,|XnsrXnrXsrrfxxxfxxfxxnrsx，且 已知将将现现过过4 4、条件数学期望条件数学期望111|,|nnnnE XXXE XXrnsXXX已知，和独立。齐次性和平稳性1|Xnnfxxn齐次：条件概率与性无关。12321|XnnXnnXfxxfxxfxxnX：满足齐次性，且所有随机变量具有相同的概平稳性率密度。
4、11XnXnXfxfxfx21XXfxfx齐次马尔可夫过程若满足，则具有平稳性。221211|XXXXfxfxxfxxfx证明：,21|1Xfxx3323222|1XXXXXfxfxxfxxfxfx ,以此类推马尔可夫链马尔可夫链就是状态和时间参数皆离散的马尔可夫过程。 11|,|m kjmimpqm kjmiP XaXa XaXaP XaXa转移概率及转移概率矩阵齐次马氏链：条件概率和m无关。( ,)|ijm kjmipm mkP XaXa转移概率：mim kjtata在 时刻出现状态为 条件下，时刻出现状态为 的条件概率( ,)( )ijijpm mkpk=1( )(1)ijijijkpk
5、pp一步时，称为转移概率( )ijknpnn步时，称为转移概率111212122212NNNNNNpppppppppP一步转移概率矩阵 111212122212NNnNNNNpnpnpnpnpnpnnpnpnpnPPn步转移概率矩阵举例（随机游动）12MM,nt tt设质点在直线段上做随机游动。假定质点只能停留在1,2, ,N点上，且只在时刻发生游动。举例（随机游动）12MM,nt tt设质点在直线段上做随机游动。假定质点只能停留在1,2, ,N点上，且只在时刻发生游动。游动的法则是：M112、若质点原来处在 点，则以概率 的移动到2点。（左边点）MN13、若质点原来处在 点，则以概率 的移动
6、到N-1点。（右边点）1M21011Nppqp 、若质点原来处在 , ,这些点上，则分别以的概率向右移动一步，或者以的概率向左移动一步。（中间点）pq11举例（随机游动）“”nnMXiMti解：以质点的位置为状态，表示质点在 时刻处于 点。1,1,112,1( ,1)|( ,1),21( ,1),210( ,1),1,11ijnjnii ii iijN Npn nP XaXapn niNpn niNpn njiipppq 一步转移概率为（中间点右移）（中间点左移）（停留、移两点以上）（左右边缘点）转移概率和n无关，上述马氏链是齐次的。010000000000000000000000000010
7、qpqpqpP 一步转移概率矩阵举例（Polya罐子模型）罐子中有黑球a个和红球b个，每次随机取出一只后放回，并加入与抽出球同色的球c个，如此继续。以罐子中黑球的数目为状态，”X(m)=i”表示在第m次摸球放回后在罐子中有i个黑球的事件。可知上述过程也是马尔可夫过程，为什么？试着写出此过程的一步转移概率，并判断此过程是否具有齐次性。举例（天气预报问题）若明天是否降雨只与今日的天气（是否有雨）有关，而与以往的天气无关。并设今日有雨而明日也有雨的概率为0.6，今日无雨而明日有雨的概率为0.3。另外，假定将“有雨”称作“1”状态天气，而把“无雨”称为“2”状态天气。则本例属一个两状态的马氏链。试求其
8、一步至四步转移概率矩阵；111221220.6,10.60.40.3,10.30.7pppp 解：由题可知，一步转移概率为 111221220.60.40.30.7ppppP举例（天气预报问题）今日有雨而后日（第三日）仍有雨的概率为多少？ 20.480.5220.390.61PP 30.4440.55630.4170.583PP 20.43320.5668420.42510.5749PP今日有雨而第四日无雨的概率为多少？今日无雨而第五日有雨的概率为多少？ 11820.4p 1203.556p 2104.4251p马氏链的有限维分布初始分布初始分布一维分布一维分布 000iiiitapp Xap
9、初始概率：马氏链在时所处状态 的概率1,iIN01ip11Niip ip初始分布：所有初始概率的集合 jjnjnapnp Xa马氏链在第 步所处状态 的无条件概率 101,1Njjjpnpn 11|,NNjnjsisiiijiipnP XaXaP Xaps pnsi jI马氏链的有限维分布一维分布一维分布 121NNpnpnnpnP一维分布矢量 TnnssPPP第第n n步时的一维分布步时的一维分布( (n-sn-s) )步转移概率矩阵步转移概率矩阵第第s步时的一维分布步时的一维分布n维分布维分布012(1)00111(1)0,1,2,1,iiii niini ntnaaaaP XaXaXa齐
10、次马氏链时刻分别取得状态这一事件的概率011, ,ni iiI马氏链的任意有限维分布完全可以由初始分布和一步转移概率矩阵所确定。因此，初始分布和一步转移概率矩阵是描述马氏链的统计特性的两个重要的分布特征。举例（马氏链的有限维分布）天气预报问题中，假定将“有雨”称作“1”状态天气，而把“无雨”称为“2”状态天气。今日(t=0)有雨。初始分布初始分布 10101pp Xa 20200pp Xa 1201000pp P=一维分布一维分布 1110TPPP明日（第 步）所处状态0.60.410.60.30.700.4T = 0.43320.566810.43324400.42510.574900.56
11、68TT PPP第五日（第4步）所处状态马氏链的平稳性定义：若齐次马氏链的概率分布不随时间的变化而改变。 120TNnpppPP 100 P 0.433240.5668P举例（天气预报问题） 0.610.4P 0.4820.52P不满足平稳性条件不满足平稳性条件 10110T PPPPP1111211221222212TNNNNNNNNppppppppppppppp 1Njiijipp p马氏链的遍历性0.6 0.40.3 0.7P 0.4332 0.56680.4251 0.5 447 9P举例（天气预报问题）定义：如果一个齐次马氏链对于一切状态i和j，存在不依赖于i的极限 limijjnp
12、np则称此马氏链具有遍历性。 121212limNNnNppppppnpppP12Nppp极限分布 0.4286 0.57140.4286 0.5 197 4P 0.4286 0.57140.4285 0.5 187 5P120.42860.5714pp=马氏链的遍历性111NNjjiijjijppp pp其极限分布是 和 方程组的唯一解。定理（有限马氏链具有遍历性的充分条件）：对于一有限状态的马氏链，若存在一正整数m，使所有的状态满足 0,ijpmi jI则此链是遍历的。0.6 0.40.3 0.7P举例（天气预报问题） 1,0ijmi jpm，满足 此链遍历111122112211222212120.60.30.40.71pp pp ppppp pp ppppp12120.40.31pppp120.42860.5714pp马尔可夫过程马尔可夫过程：状态和时间皆连续。n定义n转移概率n性质P249-252 自学马尔可夫过程定义转移概率齐次性平稳性遍历性其它性质习题n必做题n7-3n7-5n7-11脑子认识的能力，是象肌肉一样，靠练习、锻炼而培养起来的。
