信息论-总复习课件new.ppt.ppt

1、总总 复复 习习1 1 概论概论2 2 信源及信息熵信源及信息熵3 3 信源编码信源编码4 4 信道及信道容量信道及信道容量5 5 信道编码信道编码6 6 信息率失真函数信息率失真函数7 7 考试情况考试情况 l信息与消息和信号的区别信息与消息和信号的区别消息消息：是指包含有信息的语言、文字和图像：是指包含有信息的语言、文字和图像等，可表达客观物质运动和主观思维活动的等，可表达客观物质运动和主观思维活动的状态。状态。信号信号：把消息变换成适合信道传输的物理量：把消息变换成适合信道传输的物理量，这种物理量称为信号（如电信号、光信号，这种物理量称为信号（如电信号、光信号、声音信号等）。、声音信号等

2、）。信息信息是事物是事物运动状态运动状态和和状态改变状态改变的方式。的方式。l信息信息信息是事物运动状态和状态改变的方式。信息是事物运动状态和状态改变的方式。l研究信息论的目的：研究信息论的目的：它的主要目的是提高信息系它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优统的可靠性、有效性和安全性以便达到系统最优化。化。l在通信系统中形式上传输的是消息，但实质上传在通信系统中形式上传输的是消息，但实质上传输的是信息。消息只是表达信息的工具，载荷信输的是信息。消息只是表达信息的工具，载荷信息的客体。息的客体。编码器编码器信宿信宿信道信道消息消息干扰干扰消息消息通信系统模型通信系统模

3、型信源信源信号信号解码器解码器信号信号+干扰干扰噪声源噪声源l信息论的研究对象信息论的研究对象: :通信系统模型通信系统模型. .信源信源信道信道加密加密信源信源信道信道解密解密通信系统的基本任务要求通信系统的基本任务要求可靠可靠: : 要使信源发出的消息经过传输后，尽可能准确地、要使信源发出的消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端不失真或限定失真地再现在接收端有效有效: : 用尽可能短的时间和尽可能少的设备来传输最大的用尽可能短的时间和尽可能少的设备来传输最大的消息消息l单符号离散信源单符号离散信源l自信息量自信息量用概率测度定义信息量，设离散信源用概率测度定义信息量，

4、设离散信源 X X，其其概率空间为概率空间为如果知道事件如果知道事件 x xi i 已发生，则该事件所含有的已发生，则该事件所含有的自信息定义为自信息定义为)(log)(1log)(iiixpxpxI)(,),(),(,)(2121nnxpxpxpxxxXPX，l联合自信息量联合自信息量l当当 X X 和和 Y Y 相互独立时，相互独立时，p(xp(xi iy yj j)=)=p(xp(xi i)p(y)p(yj j) )(log)(1log)(jijijiyxpyxpyxI)()()(jijiyIxIyxIl条件自信息量：条件自信息量：已知已知y yj j 的条件下的条件下x xi i 仍然

5、存仍然存在的不确定度。在的不确定度。l自信息量、条件自信息量和联合自信息量之自信息量、条件自信息量和联合自信息量之间的关系间的关系)|(log)|(1log)|(jijijiyxpyxpyxI)|()()|()(1log)(ijiijijixyIxIxypxpyxIl互信息量：互信息量：y yj j 对对 x xi i 的互信息量定义为的后的互信息量定义为的后验概率与先验概率比值的对数。验概率与先验概率比值的对数。)|()();()()|(log);(jiiijijijiyxIxIxyIxpyxpyxIl两个不确定度之差是不确定度被消除的部分两个不确定度之差是不确定度被消除的部分，即等于自信息

6、量减去条件自信息量。，即等于自信息量减去条件自信息量。 0);(jiyxIl平均信息量平均信息量信源熵：信源熵：自信息的数学期望。也称为自信息的数学期望。也称为信源的信息熵信源的信息熵/ /信源熵信源熵/ /熵。熵。l信息熵的意义：信息熵的意义：信源的信息熵信源的信息熵 H H 是从是从整个整个信源的信源的统计特性来考虑的。它是从统计特性来考虑的。它是从平均意义平均意义上来表征信源上来表征信源的的总体特性总体特性的。对于某特定的信源，其信息熵是唯的。对于某特定的信源，其信息熵是唯一的。不同的信源因统计特性不同，其熵也不同。一的。不同的信源因统计特性不同，其熵也不同。niiiixpxpxpEXH

7、1)(log)()(1log)(l条件熵：条件熵：是在联合符号集合是在联合符号集合 XY XY 上的条件自信息上的条件自信息的数学期望。的数学期望。nimjijjiijxypyxpxyIEXYH11)|(1log)()|()|(l联合熵联合熵 H(XY)H(XY)：表示输入随机变量表示输入随机变量 X X，经信道经信道传输到达信宿，输出随机变量传输到达信宿，输出随机变量 Y Y。即收、发双即收、发双方通信后，整个系统仍然存在的不确定度。方通信后，整个系统仍然存在的不确定度。nimjjijijiyxpyxpyxIEXYH11)(1log)()()(l信道疑义度信道疑义度H(X|Y)H(X|Y)：

8、表示信宿在收到表示信宿在收到 Y Y 后，信后，信源源 X X 仍然存在仍然存在的不确定度。是通过有噪信道传输的不确定度。是通过有噪信道传输后引起的信息量的损失，故也可称为损失熵。后引起的信息量的损失，故也可称为损失熵。l噪声熵噪声熵H(Y|X)H(Y|X)：表示在已知表示在已知 X X 的条件下，对于的条件下，对于符号集符号集 Y Y 尚存在的不确定性，这完全是由于信道尚存在的不确定性，这完全是由于信道中噪声引起的。中噪声引起的。唯一确定信道噪声所需要的平均信唯一确定信道噪声所需要的平均信息量。息量。l平均互信息量定义：平均互信息量定义：互信息量互信息量 I(xI(xi i;y;yj j)

9、) 在联合概在联合概率空间率空间 P(XY) P(XY) 中的统计平均值。中的统计平均值。l从一个事件获得另一个事件的平均互信息需要消除从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。不确定度，一旦消除了不确定度，就获得了信息。nimjijijijixpyxpyxpyxIEYXI11)()|(log)();();(熵熵H(X)H(X)H(X)=H(X|Y)H(X)=H(X|Y)H(X)=H(X|Y)+I(X;Y)H(X)=H(X|Y)+I(X;Y) X Y X Y条件熵条件熵H(X|Y)H(X|Y)H(X|Y)=H(XY)-H(Y)H(X|Y)=H(XY

10、)-H(Y) =H(X)-I(X;Y) =H(X)-I(X;Y) X Y X Y联合熵联合熵H(XY)=H(YX)H(XY)=H(YX)H(XY)=H(X)+H(Y|X)H(XY)=H(X)+H(Y|X)=H(X|Y)+H(Y|X)+I(X;Y)=H(X|Y)+H(Y|X)+I(X;Y) X Y X Y平均互信平均互信息息I(X;Y)=I(Y;X)I(X;Y)=I(Y;X) I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y) =H(X)+H(Y)-H(X,Y) =H(X)+H(Y)-H(X,Y) X Y X Y平均互信息和熵的关系平均互信息和熵的关系数据处理定理（信息不增

11、原理）数据处理定理（信息不增原理）当消息通过多级处理器时当消息通过多级处理器时, ,随着处理器数目的增多随着处理器数目的增多, ,输入消息和输出消息之间的平均互信息量趋于变小。输入消息和输出消息之间的平均互信息量趋于变小。信息不增信息不增I(X;Z) I(X;f(Z)=I(X;Y) H(X|Z) H(X|f(Z)=H(X|Y)l最大离散熵定理最大离散熵定理 ( (极值性极值性) ) ：离散无记忆信源输离散无记忆信源输出出 n n 个不同的信息符号，当且仅当个不同的信息符号，当且仅当各个符号出各个符号出现概率相等现概率相等时时 ( (即即p(xp(xi i)=1/n)=1/n) )，熵最大。熵最

12、大。Hp(xHp(x1 1),p(x),p(x2 2),), ,p(xp(xn n)logn)lognl二进制信源的熵函数二进制信源的熵函数 H(pH(p) ) 为为)1log()1 (log)(pppppHlBSCBSC信道的平均互信息量信道的平均互信息量l 设二进制对称信道的输入概率空间为设二进制对称信道的输入概率空间为ppXPX10)()()()|()();(qHqpqpHXYHYHYXIl连续信源的熵连续信源的熵为为RcdxxpxpXH)(log)()(定义的熵在形式上和离散信源相似。连续信源熵并不是实定义的熵在形式上和离散信源相似。连续信源熵并不是实际信源输出的信息量际信源输出的信息

13、量(绝对熵绝对熵)； Hc(X) 也称为相对熵也称为相对熵babaiiniiinnnduupduupupupupupXH)(loglim)(log)(log)(lim)(log)(lim)(lim0连续信源的连续信源的信息量为无限大信息量为无限大；Hc(X) 已不能代表信源的平均不确定度，也不能代表连续信已不能代表信源的平均不确定度，也不能代表连续信源输出的信息量。源输出的信息量。限限峰值的最大熵定理峰值的最大熵定理: :若信源的若信源的N N维随机变量的维随机变量的取值在取值在一定的范围之内一定的范围之内，则在有限的定义域内，则在有限的定义域内，均匀分布均匀分布的连续信源具有最大熵。的连续信

14、源具有最大熵。限平均功率的最大熵定理：限平均功率的最大熵定理：若信源输出信号的若信源输出信号的平均功平均功率率P P或方差受限或方差受限，则其输出信号幅度的概率密度函数，则其输出信号幅度的概率密度函数为为高斯分布高斯分布时，信源具有最大熵值。时，信源具有最大熵值。限均值的最大连续熵定理：限均值的最大连续熵定理：若连续信源若连续信源X X输出非负信号输出非负信号的的均值受限均值受限，则其输出信号幅度呈，则其输出信号幅度呈指数分布指数分布时，连时，连续信源续信源X X具有最大熵值。具有最大熵值。 离散信源的无失真编码实质上是一种统计匹配离散信源的无失真编码实质上是一种统计匹配编码。信息论指出信源中

15、的统计多余度主要决定于编码。信息论指出信源中的统计多余度主要决定于以下两个主要因素：以下两个主要因素： 一是消息一是消息概率分布的非均匀性概率分布的非均匀性，另一个是，另一个是消息消息间的相关性间的相关性。对无记忆信源主要决定于概率分布的。对无记忆信源主要决定于概率分布的非均匀性，但是，对于有记忆信源，两者都起作用非均匀性，但是，对于有记忆信源，两者都起作用，且后者相关性更加重要。，且后者相关性更加重要。第第3 3章章 信源编码信源编码Def. Def. 对于给定的信源和编码速率对于给定的信源和编码速率R R及及任意任意00，若存在，若存在L L0 0、( ( ) )、D(D( ) )，使当码

16、长，使当码长LLLL0 0时，时，P Pe e H(U)RH(U)，则，则R R是是可达可达的；若的；若RH(U)R00，若有一种编，若有一种编码速率为码速率为R R 的码，在的码，在N N足够大时，能使足够大时，能使p pe e ，就，就称称R R 是是可达可达的。的。 定理定理( (ShannonShannon信道编码定理信道编码定理) )，给定容量为，给定容量为C C的离散的离散无记忆信道无记忆信道XX，p(x|yp(x|y) )，YY，若编码速率，若编码速率RCRH(U)RH(U) ( (信源熵信源熵) )时，最优的信源编、译码存在；反时，最优的信源编、译码存在；反之，当之，当RH(U

17、)RR(D)RR(D)（信息（信息率失真函数）时，最优的信源编、译码存在；反之，率失真函数）时，最优的信源编、译码存在；反之，当当RR(D)RR(D)时，最优信源编、译码不存在，称它为时，最优信源编、译码不存在，称它为ShannonShannon编码第三定理编码第三定理。 2 2）信道编码定理信道编码定理：在均方误差意义下，实现通信系：在均方误差意义下，实现通信系统与信道统计特性相匹配；即当统与信道统计特性相匹配；即当RCRCRC时，最优信道编，译码不存在时，最优信道编，译码不存在；称它为；称它为ShannonShannon编码第二定理编码第二定理。l时间：时间：l地点：地点：l闭卷闭卷l带计算器，计算题写成对数形式，或精确到小数带计算器，计算题写成对数形式，或精确到小数点后至少两位有效数字点后至少两位有效数字. .l认真答题，字迹清楚，论述详实，计算题须有中认真答题，字迹清楚，论述详实，计算题须有中间过程间过程