《信息论与编码-第5讲-信源及其信息量4-马尔科夫信源.pptx

1、第1页2024-4-14本章重点本章重点：信源的统计特性和数学模型、各类信源的信息测：信源的统计特性和数学模型、各类信源的信息测度度熵及其性质。熵及其性质。2.1 单符号离散信源单符号离散信源2.2 多符号离散平稳信源多符号离散平稳信源2.3 连续信源连续信源2.4 离散无失真信源编码定理离散无失真信源编码定理2.5 小结小结Electronics Engineering Department,XXXX Xxx Xxx XxxxXxxx第2页2024-4-142.2.1 多多符号离散平稳信源符号离散平稳信源2.2.2 离散平稳无记忆信源离散平稳无记忆信源2.2.3 离散平稳有记忆信源离散平稳有

2、记忆信源2.2.4 马尔可夫信源马尔可夫信源2.2.5 信源冗余度信源冗余度第3页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的定义(2)m 阶马尔可夫信源阶马尔可夫信源(3)举例举例2.2多符号离散平稳信源第4页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的定义 信源的状态和符号集信源的状态和符号集 马尔可夫链马尔可夫链 时齐的马尔可夫链时齐的马尔可夫链 马尔可夫信源定义马尔可夫信源定义 结论结论2.2多符号离散平稳信源第5页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的定义 信源的状态和符号集信源的状态和符号集有一类信源，输出的符号序列中符号之间的依赖关系是有

3、限的，有一类信源，输出的符号序列中符号之间的依赖关系是有限的，即任何时刻信源符号发生的概率只与前面已经发出的若干个符号即任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关。有关，而与更前面发出的符号无关。设符号集为设符号集为 X，状态为，状态为 S。信源输出的信息符号还与信源所处的。信源输出的信息符号还与信源所处的状态有关。状态有关。状态状态 Ss1,s2,sJ 符号符号 Xx1,x2,xn 每一时刻信源发出一个符号后，所处的状态将发生转移。每一时刻信源发出一个符号后，所处的状态将发生转移。2.2多符号离散平稳信源第6页2024-4-14(1)马尔可夫信源的定

4、义马尔可夫信源的定义 信源的状态和符号集信源的状态和符号集2.2多符号离散平稳信源图图2.2.2 二元二阶马尔科夫信源状态转移图二元二阶马尔科夫信源状态转移图第7页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的定义 马尔可夫链马尔可夫链信源输出的随机符号序列为：信源输出的随机符号序列为：X1,X2,Xl1,Xl,信源所处的随机状态序列为：信源所处的随机状态序列为：S1,S2,Sl1,Sl,在第在第 l 时刻，信源状态为时刻，信源状态为 si 时，输出符号时，输出符号 xk 的概率为：的概率为：pl(xk/si)=P(Xl=xk/Sl=si)另在第另在第 l1 时刻，信源状态时刻，信源

5、状态 si 时，下一时刻转移到时，下一时刻转移到 sj 的状态转移的状态转移概率为：概率为：pl(sj/si)=P(Sl=sj/Sl-1=si)称称信源的随机状态序列服从马尔可夫链信源的随机状态序列服从马尔可夫链。2.2多符号离散平稳信源第8页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的定义 时齐马尔可夫链时齐马尔可夫链一步转移概率一步转移概率：状态转移概率状态转移概率 pl(sj/si)=P(Sl=sj/Sl-1=si)称为马尔可夫称为马尔可夫链在时刻链在时刻 l 的状态一步转移概率。的状态一步转移概率。时齐时齐/齐次马尔可夫链齐次马尔可夫链：一般情况下，状态转移概率和已知状态下

6、一般情况下，状态转移概率和已知状态下符号发生的概率均与时刻符号发生的概率均与时刻 l 有关。若这些概率与时刻有关。若这些概率与时刻 l 无关，即：无关，即：pl(xk/si)=p(xk/si)pl(sj/si)=p(sj/si)则称为则称为时齐时齐的或的或齐次齐次的。此时的信源状态服从的。此时的信源状态服从时齐马尔可夫链时齐马尔可夫链。2.2多符号离散平稳信源第9页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的定义 马尔可夫信源定义马尔可夫信源定义马尔可夫信源：马尔可夫信源：信源输出的符号和所处的状态满足下列两个条件。信源输出的符号和所处的状态满足下列两个条件。1(1)0(/,)1l

7、jlmlillP SsXxSs 信信源源 时时刻刻所所处处的的状状态态由由当当前前的的输输出出符符号号和和前前一一时时刻刻信信源源的的状状态态惟惟一一确确定定。即即：某一时刻信源符号的输出某一时刻信源符号的输出只与此刻信源所处的状态有只与此刻信源所处的状态有关，与以前的状态和以前的输出符号都无关。即：关，与以前的状态和以前的输出符号都无关。即：P(Xl=xk/Sl=si,Xl1=xk1,Sl1=sj,)=pl(xk/si)当具有时齐性时有：当具有时齐性时有：pl(xk/si)=p(xk/si)2.2多符号离散平稳信源第10页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的定义 马尔可夫

8、信源定义马尔可夫信源定义 说明：说明：q 若信源处于某一状态若信源处于某一状态 si，当它发出一个符号后，所处的状态，当它发出一个符号后，所处的状态就变了；就变了；q 任何时刻信源所处的状态完全由前一时刻的状态和发出的符任何时刻信源所处的状态完全由前一时刻的状态和发出的符号决定号决定;q 因为条件概率因为条件概率 p(xk/si)已给定，状态的转移满足一定的概率已给定，状态的转移满足一定的概率分布，据此可求出状态的一步转移概率分布，据此可求出状态的一步转移概率 p(sj/si)。2.2多符号离散平稳信源第11页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的定义 马尔可夫信源定义马尔可

9、夫信源定义马尔可夫链的状态转移图：马尔可夫链的状态转移图：每个每个圆圈圆圈代表一种状态，状代表一种状态，状态之间的态之间的有向线有向线代表某一状态向另一状态的转移。有向代表某一状态向另一状态的转移。有向线一侧的线一侧的符号和数字符号和数字分别代表发出的符号和条件概率。分别代表发出的符号和条件概率。2.2多符号离散平稳信源第12页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的定义2.2多符号离散平稳信源 例例2.2.3：设信源符号：设信源符号：Xx1,x2,x3各各状态之间的状态之间的转移情况：转移情况：信源信源所处的所处的状态：状态：Ss1,s2,s3,s4,s5(1)马尔可夫信源的

10、定义马尔可夫信源的定义例例2.2.3：将图中信源在将图中信源在 si 状态下发符号状态下发符号 xk 的条件概率的条件概率 p(xk/si)用矩阵表示：用矩阵表示：由矩阵看出：由矩阵看出：31(/)11,2,3,4,5kikp xsi 第13页2024-4-142.2多符号离散平稳信源123111124411222313444111544200100 xxxsssss (1)马尔可夫信源的定义马尔可夫信源的定义例例2.2.3：第14页2024-4-142111111122111211(/,)0(/,)1(/,)1(/,)0llllllllllllP SsXx SsP SsXx SsP SsXx

11、 SsP SsXx Ss L由图中看出：由图中看出：2.2多符号离散平稳信源第15页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的定义 例例2.2.3：由图中可得状态的由图中可得状态的一步转移概率一步转移概率：该信源满足马尔可夫信源定义。该信源满足马尔可夫信源定义。2.2多符号离散平稳信源 41434143212141412154321543210001000000000000ssssssssss第16页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的定义 例例2.2.4：有一个二元二阶马尔可夫信源，有一个二元二阶马尔可夫信源，其信源符号集为其信源符号集为0,1，条件概率为：

12、，条件概率为：p(0/00)=p(1/11)=0.8 p(1/00)=p(0/11)=0.2 p(0/01)=p(0/10)=p(1/01)=p(1/10)=0.52.2多符号离散平稳信源第17页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的定义 例例2.2.4：信源任何时刻发出什么符号只与前二个信源任何时刻发出什么符号只与前二个符号有关，与更前面的符号无关。符号有关，与更前面的符号无关。信源有信源有nm=22=4种可能的状态，即种可能的状态，即00,01,10,11，分别用，分别用 s1,s2,s3,s4 表示。表示。如果原来状态为如果原来状态为00，则此时刻只可能发，则此时刻只可

13、能发出符号出符号0或或1，下一时刻只可能转移到，下一时刻只可能转移到00和和01状态，不会转移到状态，不会转移到10或或11状态。状态。2.2多符号离散平稳信源第18页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的定义例例2.2.4：处在处在00状态时发符号状态时发符号0的概率为的概率为0.8，所以处在所以处在00状态转回到状态转回到00状态的概率状态的概率为为0.8。处在处在00状态时发符号状态时发符号1的概率为的概率为0.2，所以所以00状态转移到状态转移到01状态的概率为状态的概率为0.2。2.2多符号离散平稳信源第19页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的

14、定义 例例2.2.4：根据给定的条件概率，可以求得状态之间的转移概率（一步根据给定的条件概率，可以求得状态之间的转移概率（一步转移概率）为转移概率）为:p(s1/s1)=p(s4/s4)=0.8 p(s2/s1)=p(s3/s4)=0.2 p(s3/s2)=p(s2/s3)=p(s4/s2)=p(s1/s3)=0.5 其它的状态转移概率都为零。其它的状态转移概率都为零。2.2多符号离散平稳信源第20页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的定义 例例2.2.4：二元信源发出的一串二元序列可变二元信源发出的一串二元序列可变换成状态序列。换成状态序列。例如：二元序列为例如：二元序列

15、为01011100，状态序列为状态序列为s2 s3 s2 s4 s4 s3 s1。这串状态序列是时齐的马尔可夫链这串状态序列是时齐的马尔可夫链，它在任何时刻，它在任何时刻 l，状态之间的转，状态之间的转移可由一步转移概率确定。移可由一步转移概率确定。2.2多符号离散平稳信源第21页2024-4-14(1)马尔可夫信源的定义马尔可夫信源的定义 结论：结论：一般有记忆信源发出的是有关联性的各符号构成的整体消息，一般有记忆信源发出的是有关联性的各符号构成的整体消息，即发出的是符号序列，并用符号间的即发出的是符号序列，并用符号间的描述这种关联性；描述这种关联性；马尔可夫信源的不同之处在于它用马尔可夫信

16、源的不同之处在于它用来描述这种关联关系。即来描述这种关联关系。即；转移概率的大小取决于它与前面符号之间的关联性。转移概率的大小取决于它与前面符号之间的关联性。2.2多符号离散平稳信源第22页2024-4-14(2)m 阶马尔可夫信源阶马尔可夫信源 m 阶马尔可夫信源阶马尔可夫信源 m 阶马尔可夫信源的极限熵阶马尔可夫信源的极限熵 有限齐次马尔可夫链各态历经定理有限齐次马尔可夫链各态历经定理 有关问题的说明有关问题的说明2.2多符号离散平稳信源第23页2024-4-14(2)m 阶马尔可夫信源阶马尔可夫信源 m 阶马尔可夫信源阶马尔可夫信源m 阶有记忆离散信源的状态：阶有记忆离散信源的状态：对对

17、 m 阶有记忆离散信源，阶有记忆离散信源，在任何时刻在任何时刻 l，符号发出的概率只与前面，符号发出的概率只与前面 m 个符号有关，个符号有关，把这把这 m 个符号看作信源在个符号看作信源在 l 时刻的状态。时刻的状态。n信源符号集符号个数信源符号集符号个数 nm信源不同的状态数信源不同的状态数 m+1信源输出依赖长度信源输出依赖长度信源输出依赖长度为信源输出依赖长度为 m+1 的的转化为对应的转化为对应的，这种状态序列符合简单的，这种状态序列符合简单的。2.2多符号离散平稳信源第24页2024-4-14(2)m 阶马尔可夫信源阶马尔可夫信源 m 阶马尔可夫信源阶马尔可夫信源m 阶马尔可夫信源

18、数学模型：阶马尔可夫信源数学模型：m 阶有记忆离散信源的数学阶有记忆离散信源的数学模型可由一组信源符号集和一组条件概率确定：模型可由一组信源符号集和一组条件概率确定：2.2多符号离散平稳信源112112112111211,.,(/.)(/.)(/.)1;,.,1,2,.,mmmmmnkkkkmmnkkkkmkxxxXp xx xxP XXXp xx xxk kkn 并并满满足足第25页2024-4-14(2)m 阶马尔可夫信源阶马尔可夫信源 m 阶马尔可夫信源阶马尔可夫信源一阶马尔可夫信源：一阶马尔可夫信源：当当 m=1 时，任何时刻信源符号发时，任何时刻信源符号发生的概率只与前面一个符号有关

19、。生的概率只与前面一个符号有关。m 阶马尔可夫信源的条件概率（考虑其平稳性）阶马尔可夫信源的条件概率（考虑其平稳性）12111112(/.)(/.)(/.)NmmNNN mN mNmmkkkkkkkkkkkkkkp xx xx xxp xxxxp xx xx 2.2多符号离散平稳信源第26页2024-4-14(2)m 阶马尔可夫信源阶马尔可夫信源 m 阶马尔可夫信源的极限熵阶马尔可夫信源的极限熵1111111111111212112112lim(/.)lim.(.)log(/.)lim.(.)log(/.).(.)log(/.NNNNNmmNmmmNNNnnkkkkkNkknnkkkkkNkk

20、kkkkkHH XX XXp xxp xxxp xxp xxxp xxp xxx 1111112)(/.)mnnkkmmH XX XX 2.2多符号离散平稳信源第27页2024-4-14(2)m 阶马尔可夫信源阶马尔可夫信源 m 阶马尔可夫信源的极限熵阶马尔可夫信源的极限熵上式中的上式中的 可表示为状态可表示为状态 si(i=1,2,nm)；信源处于状态信源处于状态 si 时，再发下一个符号时，再发下一个符号 （或写成（或写成 xk），则信），则信源从状态源从状态 si 转移到转移到 sj，即，即 。所以：。所以：其中其中 p(si)(i=1,2,nm)是是 m 阶马尔可夫信源阶马尔可夫信源稳

21、定后稳定后的状态极限的状态极限概率，概率，p(sj/si)是一步转移概率。是一步转移概率。1121211(/.)(/)(/)()(/)log(/)mmmmkkkkkijinnmijijiijp xx xxp xsp ssHHp sp ssp ss ).(21mkkkxxx1 mkx).(132 mmkkkkxxxx2.2多符号离散平稳信源111111211.(.)log(/.)mmmmnnkkkkkkkHp xxp xxx 第28页2024-4-14(2)m 阶马尔可夫信源阶马尔可夫信源 m 阶马尔可夫信源的极限熵阶马尔可夫信源的极限熵这里利用了这里利用了m阶马尔可夫信源阶马尔可夫信源“有限记

22、忆长度有限记忆长度”的根本特性，的根本特性，使使无限大参数无限大参数 N变为有限值变为有限值m，把求极限熵的问题变成了一个求，把求极限熵的问题变成了一个求m阶阶条件熵的问题。条件熵的问题。状态一步转移概率状态一步转移概率 p(sj/si)是给定或测定的。求解是给定或测定的。求解 Hm+1 条件熵的关条件熵的关键就是要得到键就是要得到 p(si)(i=1,2,nm)。p(si)是马尔可夫信源是马尔可夫信源稳定后稳定后(N)各状态的极限概率各状态的极限概率。有限状态的马尔可夫链：有限状态的马尔可夫链：状态空间的状态是有限的。状态空间的状态是有限的。可列状态的马尔可夫链：可列状态的马尔可夫链：状态空

23、间状态空间 I 是是0,1,2,。2.2多符号离散平稳信源第29页2024-4-142.2多符号离散平稳信源0(/)0ljipss(2)m 阶马尔可夫信源阶马尔可夫信源 有限齐次马尔可夫链各态历经定理有限齐次马尔可夫链各态历经定理定理：定理：对于有限齐次马尔可夫链，若存在一个正整数对于有限齐次马尔可夫链，若存在一个正整数 l01，且经过且经过 l0 步，从状态步，从状态 si 转移到转移到 sj 的的 l0 步转移概率：步转移概率：则则称称这这种种马马尔尔可可夫夫链链是是各各态态历历经经的的。第30页2024-4-142.2多符号离散平稳信源1,2,.,mimjns 对对各各态态历历经经的的

24、阶阶马马尔尔可可夫夫信信源源来来说说，对对每每个个都都存存在在不不依依赖赖于于起起始始状状态态 的的状状态态极极限限概概率率：(2)m 阶马尔可夫信源阶马尔可夫信源 有限齐次马尔可夫链各态历经定理有限齐次马尔可夫链各态历经定理11()0,()1()()(/)(1,2,.,)mmnjjinmjijiip sp sp sp s p ssjn 其其状状态态极极限限概概率率是是在在约约束束条条件件的的约约束束下下方方程程组组:的的唯唯一一解解。lim(/)()(1,2,.,)mljijlp ssp sjn 第31页2024-4-14(2)m 阶马尔可夫信源阶马尔可夫信源 有限齐次马尔可夫链各态历经定理

25、有限齐次马尔可夫链各态历经定理凡具有各态历经性的凡具有各态历经性的 m 阶马尔可夫信源，其状态极限概率阶马尔可夫信源，其状态极限概率 p(si)可由上式求出。有了可由上式求出。有了 p(si)和测定的和测定的 p(sj/si)，就可求出，就可求出 m 阶马尔可夫信源的熵阶马尔可夫信源的熵 Hm+1。2.2多符号离散平稳信源1211()(/)log(/)mmnnmijijiijHHp sp ssp ss 第32页2024-4-14(2)m 阶马尔可夫信源阶马尔可夫信源 有关问题的说明有关问题的说明m 阶马尔可夫信源在起始的有限时间内，信源不是阶马尔可夫信源在起始的有限时间内，信源不是平稳平稳和和

26、遍历遍历/各态历经性各态历经性的，状态的概率分布有一段起始渐变过程。经过足的，状态的概率分布有一段起始渐变过程。经过足够长时间之后，信源处于什么状态已与初始状态无关，这时够长时间之后，信源处于什么状态已与初始状态无关，这时每每种状态出现的概率已达到一种稳定分布种状态出现的概率已达到一种稳定分布。，但当但当的马尔可的马尔可夫信源达到稳定后，这时就可以看成是平稳信源。夫信源达到稳定后，这时就可以看成是平稳信源。2.2多符号离散平稳信源(3)举例举例例例2.2.4：二元二元 2 阶阶马尔可夫信源，原始信号马尔可夫信源，原始信号 X 的符号集为的符号集为 X1=0,X2=1，其状态空间共有，其状态空间

27、共有 nm=22=4 个不同的状态个不同的状态 s1,s2,s3,s4，即：即：E：s1=00,s2=01,s3=10,s4=11 状态转移图见右图所示。状态转移图见右图所示。解：解：p(s1/s1)=p(x1/s1)=p(0/00)=0.8 p(s2/s1)=p(x2/s1)=p(1/00)=0.2 p(s3/s2)=p(x1/s2)=p(0/01)=0.5 p(s4/s2)=p(x2/s2)=p(1/01)=0.5 p(s1/s3)=p(x1/s3)=p(0/10)=0.5 p(s2/s3)=p(x2/s3)=p(1/10)=0.5 p(s3/s4)=p(x1/s4)=p(0/11)=0.

28、2 p(s4/s4)=p(x2/s4)=p(1/11)=0.8第33页2024-4-142.2多符号离散平稳信源第34页2024-4-14(3)举例举例例例2.2.4：由二元信源由二元信源 X0,1 得到的状态空间得到的状态空间(s1,s2,s3,s4)和相应的和相应的一步转移概率构成的一步转移概率构成的 2 阶阶马尔可夫信源模型为：马尔可夫信源模型为：12344141,1,2,3,4(/)(/)1,()0()()(/)1,2,3,4jijiijjijiissssi jp ssp ssp sp sp s p ssj 且且2.2多符号离散平稳信源第35页2024-4-14(3)举例举例例例2.2

29、.4：求出稳定状态下的求出稳定状态下的 p(sj)，称为，称为状态极限概率状态极限概率。将一步转移概。将一步转移概率代入上式得率代入上式得:p(s1)=0.8 p(s1)+0.5 p(s3)p(s3)=0.5 p(s2)+0.2 p(s4)p(s2)=0.2 p(s1)+0.5 p(s3)p(s4)=0.5 p(s2)+0.8 p(s4)解方程组得：解方程组得：p(s1)=p(s4)=5/14 p(s2)=p(s3)=2/14计算极限熵：计算极限熵：442 1211()(/)log(/)0.8/ijijiijHHp s p ssp ss （比比特特 符符号号）2.2多符号离散平稳信源41()(

30、)(/)1,2,3,4jijiip sp s p ssj 第36页2024-4-14注意：注意：H 并非在任何情况下都存在。对并非在任何情况下都存在。对 n 元元 m 阶马尔可夫信源来阶马尔可夫信源来说，只有说，只有状态极限概率状态极限概率 p(sj)，j=1,2,nm 都存在时都存在时，才能计才能计算出算出 H。从理论上可以证明，如果。从理论上可以证明，如果 m 阶马尔可夫信源阶马尔可夫信源稳定稳定后具有后具有各态历经性各态历经性，则状态极限概率，则状态极限概率 p(sj)可根据下式求出可根据下式求出:1()()(/)(1,2,.,)mnmjijiip sp s p ssjn 2.2多符号离

31、散平稳信源第37页2024-4-14(1)实际信源的近似实际信源的近似(2)英语信源的熵英语信源的熵(3)信源的冗余度信源的冗余度(4)通信效率与可靠性的关系通信效率与可靠性的关系2.2多符号离散平稳信源第38页2024-4-14(1)实际信源的近似实际信源的近似 实际信源近似为平稳信源实际信源近似为平稳信源 离散平稳信源近似为马尔可夫信源离散平稳信源近似为马尔可夫信源 信源符号的相关性与提供的平均信息量信源符号的相关性与提供的平均信息量2.2多符号离散平稳信源第39页2024-4-14(1)实际信源的近似实际信源的近似 实际信源近似为平稳信源实际信源近似为平稳信源 实际信源可能是非平稳的，极

32、限熵实际信源可能是非平稳的，极限熵 H 不一定存在。有时为了不一定存在。有时为了方便假设它是平稳的。测得方便假设它是平稳的。测得 N 足够大时的条件概率：足够大时的条件概率：P(XN/X1X2XN-1)，再计算出，再计算出 HN(X X)，近似极限熵，近似极限熵 H。11111211212111lim()lim(.)lim(/.)lim.(.)log(/.)NNNNNNNNNNNNnnkkkkkNkkHHH X XXXNH XX XXp xxp xxx X2.2多符号离散平稳信源第40页2024-4-14(1)实际信源的近似实际信源的近似 离散平稳信源近似为马尔可夫信源离散平稳信源近似为马尔可

33、夫信源计算计算 N 足够大时的足够大时的 HN(X)往往也十分困难，可进一步假设往往也十分困难，可进一步假设离散平稳信源是离散平稳信源是 m 阶马尔可夫信源。阶马尔可夫信源。信源熵用信源熵用 m 阶马尔可夫信源的熵阶马尔可夫信源的熵 Hm+1 来近似，需要测定的来近似，需要测定的条件概率要少的多。条件概率要少的多。近似程度的高低取决于记忆长度近似程度的高低取决于记忆长度 m。越接近实际信源，。越接近实际信源，m 值值越大；反之对信源简化的越多，越大；反之对信源简化的越多，m 值越小。值越小。2.2多符号离散平稳信源第41页2024-4-14(1)实际信源的近似实际信源的近似 离散平稳信源近似为

34、马尔可夫信源离散平稳信源近似为马尔可夫信源最简单的马尔可夫信源记忆长度最简单的马尔可夫信源记忆长度 m=1，信源熵：，信源熵：H2=H1+1=H(X2/X1)当当 m=0 时，信源变为时，信源变为离散无记忆离散无记忆信源，其熵可用信源，其熵可用 H1(X)表示。表示。继续简化，假定信源是继续简化，假定信源是等概率等概率分布的分布的无记忆无记忆离散信源，这种离散信源，这种信源的熵就是最大熵值信源的熵就是最大熵值 H0(X)=log2n。2.2多符号离散平稳信源第42页2024-4-14(1)实际信源的近似实际信源的近似 信源符号的相关性与提供的平均信息量信源符号的相关性与提供的平均信息量 把多符

35、号离散信源都用马尔可夫信源来逼近，则记忆长度不把多符号离散信源都用马尔可夫信源来逼近，则记忆长度不同，熵值就不同，意味着平均每发一个符号就有不同的信息同，熵值就不同，意味着平均每发一个符号就有不同的信息量。量。log2n=H0H1H2HmH 所以所以信源的记忆长度越长，熵值越小信源的记忆长度越长，熵值越小。当信源符号间彼此没。当信源符号间彼此没有任何依赖关系且呈等概率分布时，信源熵达到最大值。即有任何依赖关系且呈等概率分布时，信源熵达到最大值。即信源符号的相关性越强，提供的平均信息量越小信源符号的相关性越强，提供的平均信息量越小。2.2多符号离散平稳信源第43页2024-4-14(2)英语信源

36、的熵英语信源的熵 把英语看成是离散无记忆信源把英语看成是离散无记忆信源 把英语看成马尔可夫信源把英语看成马尔可夫信源2.2多符号离散平稳信源第44页2024-4-14(2)英语信源的熵英语信源的熵 把英语看成是离散无记忆信源把英语看成是离散无记忆信源英语字母英语字母 26 个，加上一个个，加上一个空格空格，共，共 27 个符号。个符号。英语信源的最大熵（等概率）：英语信源的最大熵（等概率）：H0=log227=4.76（比特（比特/符号）符号）英语字母并非等概率出现，字母之间有严格的依赖关系。表英语字母并非等概率出现，字母之间有严格的依赖关系。表2.2.2是对是对 27 个符号出现的概率统计结

37、果。个符号出现的概率统计结果。2.2多符号离散平稳信源第45页2024-4-14(2)英语信源的熵英语信源的熵 把英语看成是离散无记忆信源把英语看成是离散无记忆信源2.2多符号离散平稳信源第46页2024-4-14(2)英语信源的熵英语信源的熵 把英语看成是离散无记忆信源把英语看成是离散无记忆信源如果不考虑符号间的依赖关系，近似认为信源是离散无如果不考虑符号间的依赖关系，近似认为信源是离散无记忆的，则：记忆的，则：按表按表2.2.2的概率分布，随机地选择英语字母并排列起来，的概率分布，随机地选择英语字母并排列起来，得到一个输出序列：得到一个输出序列：27121()log()4.03/iiiHp

38、 sp s （比比特特 符符号号）2.2多符号离散平稳信源第47页2024-4-14(2)英语信源的熵英语信源的熵 把英语看成是离散无记忆信源把英语看成是离散无记忆信源AI_NGAE_ITE_NNR_ASAEV_OTE_BAINTHA_HYROO_PORE_SETRYGAIETRWCO_EHDUARU_EUEU_C_FT_NSREM_DIY_EESE_F_O_SRIS_R_UNNASHOR这个序列看起来有点像英语，但不是。实际英语的某个字母出这个序列看起来有点像英语，但不是。实际英语的某个字母出现后，后面的字母并非完全随机出现，而是满足一定关系的条现后，后面的字母并非完全随机出现，而是满足一定

39、关系的条件概率分布。例如件概率分布。例如 T 后面出现后面出现 H，R 的可能性较大，出现的可能性较大，出现 J，K，M，N 的可能性极小，而根本不会出现的可能性极小，而根本不会出现 Q，F，X。即。即英语字母英语字母之间有强烈的依赖性之间有强烈的依赖性。上述序列仅考虑了字母出现的概率，忽。上述序列仅考虑了字母出现的概率，忽略了依赖关系。略了依赖关系。2.2多符号离散平稳信源第48页2024-4-14(2)英语信源的熵英语信源的熵 把英语看成马尔可夫信源把英语看成马尔可夫信源为了进一步逼近实际情况，可把英语信源近似看做为了进一步逼近实际情况，可把英语信源近似看做 1阶阶，2 阶阶，阶阶马尔可夫

40、信源，它们的熵为：马尔可夫信源，它们的熵为：H2=3.32（比特（比特/符号）符号）H3=3.1（比特（比特/符号）符号）若把英语信源近似成若把英语信源近似成 2 阶马尔可夫信源，可得到某个输出序列：阶马尔可夫信源，可得到某个输出序列：IANKS_CAN_OU_ANG_RLER_THTTED_OF_TO_SHOR_OF_TO_HAVEMEM_A_I_MAND_AND_BUT_WHISS_ITABLY_THERVEREER2.2多符号离散平稳信源第49页2024-4-14(2)英语信源的熵英语信源的熵 把英语看成马尔可夫信源把英语看成马尔可夫信源这个序列中被空格分开的两字母或三字母，组成的大都是

41、有意这个序列中被空格分开的两字母或三字母，组成的大都是有意义的英语单词，而四个以上字母组成的义的英语单词，而四个以上字母组成的“单词单词”，很难从英语，很难从英语词典中查到。因为词典中查到。因为该序列仅考虑了该序列仅考虑了3个以下字母之间的依赖关系个以下字母之间的依赖关系。实际英语字母之间的关系延伸到更多的符号，实际英语字母之间的关系延伸到更多的符号，单词之间也有依单词之间也有依赖关系赖关系。有依赖关系的字母数越多，即马尔可夫信源的阶数越高，输出有依赖关系的字母数越多，即马尔可夫信源的阶数越高，输出的序列就越接近于实际情况。当的序列就越接近于实际情况。当依赖关系延伸到无穷远时，信依赖关系延伸到

42、无穷远时，信源输出的就是真正的英语源输出的就是真正的英语，此时可求出马尔可夫的极限熵，此时可求出马尔可夫的极限熵 H=1.4（比特（比特/符号）符号）2.2多符号离散平稳信源第50页2024-4-14(3)信源的冗余度信源的冗余度 信息传输手段的浪费信息传输手段的浪费 信源冗余度定义及意义信源冗余度定义及意义 重要结论重要结论2.2多符号离散平稳信源第51页2024-4-14(3)信源的冗余度信源的冗余度 信息传输手段的浪费信息传输手段的浪费对一般离散平稳信源，对一般离散平稳信源，H 就是实际信源熵就是实际信源熵。理论上只要有。理论上只要有传送传送 H 的手段，就能把信源包含的信息全部发送出去

43、。的手段，就能把信源包含的信息全部发送出去。但实际上确定但实际上确定 H 非常困难，只好用非常困难，只好用 Hm+1 来代替。来代替。Hm+1H，所以在传输手段上必然富裕，这样做很不经济，特别是有时所以在传输手段上必然富裕，这样做很不经济，特别是有时只能得到只能得到 H1，甚至，甚至 H0，就更不经济。，就更不经济。这种浪费是由信源符号的相关性引起的。这种浪费是由信源符号的相关性引起的。2.2多符号离散平稳信源第52页2024-4-14(3)信源的冗余度信源的冗余度 信源冗余度定义及意义信源冗余度定义及意义信源熵的相对率信源熵的相对率：为了衡量符号间的相互依赖程度，定义为了衡量符号间的相互依赖

44、程度，定义信源信源实际的信息熵实际的信息熵与同样符号数的与同样符号数的最大熵最大熵的比值为信源熵的的比值为信源熵的相对率：相对率：=H/H0信源冗余度信源冗余度：1 减去信源熵的相对率减去信源熵的相对率，即：，即：2.2多符号离散平稳信源001HHH 第53页2024-4-14(3)信源的冗余度信源的冗余度 信源冗余度定义及意义信源冗余度定义及意义信息结构（信息变差）信息结构（信息变差）I0：I0=H0 H信源的实际熵应为信源的实际熵应为H，但，但 H 很难得到，于是用很难得到，于是用 H0 来表达信来表达信源。源。两者之差代表了语言结构确定的信息。两者之差代表了语言结构确定的信息。I0 越大

45、，冗余度越大，冗余度越大。冗余度是用来衡量符号间的依赖程度越大。冗余度是用来衡量符号间的依赖程度。英语信源冗余。英语信源冗余度为：度为：=(4.761.4)/4.76=0.712.2多符号离散平稳信源001HHH 第54页2024-4-14(3)信源的冗余度信源的冗余度 重要结论重要结论写英语文章时，写英语文章时，71%是由语言结构定好的，只有是由语言结构定好的，只有 29%是写文是写文字的人可以自由选择的。字的人可以自由选择的。100 页的书，大约只传输页的书，大约只传输 29 页就可页就可以了，其余以了，其余 71 页可以压缩掉。页可以压缩掉。信息的冗余度表示信源可压缩信息的冗余度表示信源

46、可压缩的程度的程度。从提高传输效率的观点出发，总是希望从提高传输效率的观点出发，总是希望减少减少或或去掉去掉冗余度。冗余度。冗余度大的消息抗干扰能力强。能通过前后字之间的关联纠冗余度大的消息抗干扰能力强。能通过前后字之间的关联纠正错误。正错误。2.2多符号离散平稳信源第55页2024-4-14(3)信源的冗余度信源的冗余度 重要结论重要结论听母语广播和听外语广播的对比：听母语广播和听外语广播的对比：听外语费劲是英语冗余度听外语费劲是英语冗余度不够造成的不够造成的。因此，英语听力要过关，除了多听多练以外，。因此，英语听力要过关，除了多听多练以外，并无多少捷径可走。并无多少捷径可走。2.2多符号离

47、散平稳信源第56页2024-4-14(4)通信效率与可靠性的关系通信效率与可靠性的关系信源编码就是通过减少或消除冗余度来提高通信效率。信源编码就是通过减少或消除冗余度来提高通信效率。信道编码是通过增加冗余度来提高通信的抗干扰能力，信道编码是通过增加冗余度来提高通信的抗干扰能力，即提高通信的可靠性。即提高通信的可靠性。通信的效率问题和可靠性问题往往是一对矛盾。通信的效率问题和可靠性问题往往是一对矛盾。2.2多符号离散平稳信源第57页2024-4-14 设信源发出两个消息设信源发出两个消息 x1和和 x2，它们，它们的概率分布为的概率分布为 p(x1)=3/4，p(x2)=1/4。求。求该信源的熵和冗余度。该信源的熵和冗余度。=1=(H0H)/H0第58页2024-4-14 设信源发出两个消息设信源发出两个消息 x1和和 x2，它们的概率分布，它们的概率分布为为 p(x1)=3/4，p(x2)=1/4。求该信源的熵和冗余度。求该信源的熵和冗余度。H0=log22=1（bit）（bit811.041log4143log43221 HH189.01811.0110 HH 第59页2024-4-14P.422-20,2-21,2-27