信息论基础第二章-信源和熵课件.ppt

1、本章主要内容本章主要内容离散信源的信息熵连续信源的信息熵 信源分类和描述信源分类和描述信源分类和描述离离散散信信源源连连续续信信源源单单符符号号信信源源符符号号序序列列信信源源无无记记忆忆信信源源有有记记忆忆信信源源信源分类和描述信源分类和描述 )()()(2121nnxpxpxpxxx )(,xpX=1)(1 niixp离散信源连续信源 )(,xX=)(),(xba 1)(dxxba 信源分类和描述信源分类和描述 )()()()(,2121nnxpxpxpxxxxpX单符号信源 X符号序列信源 XN （N次扩展信源）),(),(),(),(),(),()(,112111112111qqqqq

2、qxxxpxxxpxxxpxxxxxxxxxpxX X ),(),(),(),(),(),()(,112111112111qqqqqqNxxxpxxxpxxxpxxxxxxxxxpXx或信源分类和描述信源分类和描述无记忆信源有记忆信源),|(21mllllXXXXp NllNNNN121)(),()(XXXXX信息的特性信息的特性 事件（消息）的信息量大小与其不确定事件（消息）的信息量大小与其不确定度（概率）有关度（概率）有关 事件概率越小，信息量越大事件概率越小，信息量越大 确定性事件的信息量为零，不可能事件确定性事件的信息量为零，不可能事件的信息量为无穷大的信息量为无穷大 信息量具有可加性

3、信息量具有可加性离散信源符号的信息量离散信源符号的信息量信息量定义 信息量单位 对数的底a=2时，信息量单位为比特(bit）对数的底a=e时，信息量单位为奈特(nat）对数的底a=3时，信息量单位为铁特(Tet）对数的底a=10时，信息量单位为哈特(Hart）)(1log)(xpxIa)(logxpa-离散信源的信息熵离散信源的信息熵(Entropy)信息熵定义(信息量的统计平均或者说数学期望)信息熵单位 对数的底a=2时，信息熵单位为比特/符号(bit/符号）对数的底a=e时，信息熵单位为奈特/符号(nat/符号）对数的底a=3时，信息熵单位为铁特/符号(Tet/符号）对数的底a=10时，信

4、息熵单位为哈特/符号(Hart/符号）)(xIEH(X)=)(log)(xpxpXx =注意：计算机技术中的术语“比特”表示一个二元数字，每个二元数字所能提供的最大平均信息量为1比特。离散信源信息熵的含义离散信源信息熵的含义 H(X)表示信源的平均不确定度表示信源的平均不确定度平均平均信息量信息量 H(X)表示信源的随机性表示信源的随机性 H(X)表示信源输出每个符号所提供的平表示信源输出每个符号所提供的平均信息量均信息量 H(X)表示信宿所能获得的最大信息量表示信宿所能获得的最大信息量 条件自信息量与条件熵条件自信息量与条件熵条件自信息量定义条件熵定义(条件自信息量的统计平均)I(x|y)=

5、log)|(1yxp=log p(x|y)=)|(yXH )|(yxIEX)|(log)|(yxpyxpXx =)|(YXH )|(yXHEY)|()(yXHypYy =联合自信息量与联合熵联合自信息量与联合熵联合自信息量定义联合熵定义(联合自信息量的统计平均)I(xy)=log)(1xyp=log p(xy)XxYyxypxyp)(log)(=)(XYH )(xyIEXY=XxYyxyIxyp)()(自信息量、条件信息量、联合信息量自信息量、条件信息量、联合信息量三者之间的关系三者之间的关系)|()()(xyIxIxyI )()|(xIyxI)|()()(yxIyIxyI )()|(yIxy

6、I)()()(yIxIxyI 当事件x 和事件y 相互独立时有信息熵、条件熵、联合熵信息熵、条件熵、联合熵三者之间的关系三者之间的关系)|()()(XYHXHXYH )|()()(YXHYHXYH )()()(YHXHXYH )()|(XHYXH)()|(YHXYH 当集合X 和集合Y 相互独立时有离散二元信源的信息熵离散二元信源的信息熵 )1log()1(log)(ppppXH ppxpX110)(有两个二元随机变量有两个二元随机变量X和和Y，它们的联合概率为，它们的联合概率为并定义另一随机变量并定义另一随机变量Z=XY（一般乘积（一般乘积)，试计算：，试计算：(1)H(X)、H(Y)、H(

7、Z)、H(XY)、H(XZ)、H(YZ)、H(XYZ)(2)H(X|Y)、H(X|Z)、H(Z|X)、H(Z|Y)、H(Y|Z)、H(Y|XZ)、H(Z|XY)例题例题p(xy)x=0 x=1y=01/83/8y=13/81/8熵函数熵函数 H(p)的性质的性质 niiinnpppppHH121log),()(P信息熵 H(X)的函数表达H(p),(),(),(111221 nnnnnnnpppHpppHpppH(1)对称性(2)非负性(离散信源)0),(21 nnpppH(3)扩展性),(),(lim212110nnnnpppHpppH 熵函数熵函数 H(p)的性质的性质0)0,0,1()0

8、,0,1()0,1(32 nHHH(4)确定性(5)可加性(6)极值性nnnnHpppHnnnlog)1,1,1(),(21 ),(,2,12,22,222,121,11,211,1121nmnnnnnmmMnPpPpPpPpPpPpPpPpPpH niimiiminniiPPPHppppH1,2,121),(),(熵函数熵函数 H(p)的性质的性质熵函数熵函数 H(p)的性质的性质(7)上凸性 )()()()(qpqpHHH 11小结：信息熵 信息论中的最基础的基本概念 对随机变量不确定性的最好的度量 用来描述信源的信息特性互信息量的提出与定义互信息量的提出与定义互信息量提出互信息量=（收到

9、消息之前关于某事件的不确定度）-（收到消息之后关于该事件的不确定度）=消息不确定度的减小量)()|(log);(xpyxpyxIa 互信息量定义)|()()|(log)(log);(yxIxIyxpxpyxIaa 条件互信息量与联合互信息量条件互信息量与联合互信息量条件互信息量定义联合互信息量定义)|()|(log)|;(zxpyzxpzyxIa)()|(log);(xpyzxpyzxIa 自信息量与互信息量的自信息量与互信息量的区分区分（表达方式和含义上表达方式和含义上）)(xI);(yxI)(xyI)|;(zyxI);(yzxI信息量)|(yxI互信息量)(1log)(xpxIa)()|(

10、log);(xpyxpyxIa 自信息量与互信息量的自信息量与互信息量的联系联系)|()()(xyIxIxyI )|;();();(yzxIyxIyzxI )|()();(yxIxIyxI )()()();(xyIyIxIyxI )()|(log);(xpyxpyxIa)|()()(xypxpxyp)|()|()|;(yzxIzxIzyxI 自信息量与互信息量的自信息量与互信息量的异同异同);();(xyIyxI 异非负性互易性同 可加性)|()()(xyIxIxyI )|;();();(yzxIyxIyzxI )()|()()|(ypxypxpyxp 0)(xI1)(0)(log)(xpxp

11、xIa例题例题设某班学生在一次考试中获优（A）、良（B）、中（C）、及格（D）和不及格（E）的人数相等。当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？平均互信息量平均互信息量平均互信息量定义 XxYyZzXYZzxpyzxpxyzpzyxIEZYXI)|()|(log)()|;()|;(平均条件互信息量定义平均联合互信息量定义 XxYyXYxpyxpxypyxIEYXI)()|(log)();();(XxYyZzXYZxpyzxpxyzpyzxIEYZXI)()|(log)();();(1)非负性(2)互易性(3)极值性平均互信息量平均互信息量 I

12、(X;Y)的性质的性质0);(YXI);();(XYIYXI)();(XHYXI)();(YHYXI 0);(yXI0);(YxI);(yxI不具有非负性(4)I(X;Y)与信息熵的关系(5)凸函数性平均互信息量平均互信息量 I(X;Y)的性质的性质)|()();(YXHXHYXI )|()();(XYHYHYXI )()()();(XYHYHXHYXI 当 p(y|x)给定时，I(X;Y)是 p(x)的上凸函数。当 p(x)给定时，I(X;Y)是 p(y|x)的下凸函数。I(X;Y)与信息熵的关系与信息熵的关系I(X;Y)=0H(X)H(Y)H(XY)集合X与集合Y 相互独立的情况 I(X;

13、Y)与信息熵的关系与信息熵的关系H(XY)H(X|Y)H(Y|X)H(X)H(Y)H(X|Y)含糊度或损失熵 H(Y|X)散布度或噪声熵 0);(YXII(X;Y)与信息熵的关系与信息熵的关系H(X)=H(Y)=I(X;Y)H(XY)集合X与集合Y 完全相关的情况 I(X;Y)与信息熵的关系与信息熵的关系H H(X X)H H(Y Y)H H(Y Y|X X)H H(X XY Y)I I(X X;Y Y)H H(Y Y|X X)H(X|Y)I(X;Y)的凸函数性的凸函数性 XxYyXYxpyxpxypyxIEYXI)()|(log)();();(XxYyXYypxypxypyxIEYXI)()

14、|(log)();();(XxYyXYypxpxypxypyxIEYXI)()()(log)();();()|(),();(xypxpfYXI I(X;Y)的凸函数性的凸函数性 XxYyXxXYxypxpxypxypxpyxIEYXI)|()()|(log)|()();();(XxYyXYxpyxpxypyxIEYXI)()|(log)();();(XxYyXYypxypxypyxIEYXI)()|(log)();();(XxYyXYypxpxypxypyxIEYXI)()()(log)();();()|(),();(xypxpfYXI I(X;Y)的凸函数性的凸函数性 )|(),();(xy

15、pxpfYXI 当 p(y|x)给定时，I(X;Y)=f p(x)是上凸函数。)()1()()(21xpIxpIxpI 当 p(x)给定时，I(X;Y)=f p(y|x)是下凸函数。CYXIYXIxp );(max);()(C 信道容量)|()1()|()|(21xypIxypIxypI )();(min);()|(DRYXIYXIxyp R(D)率失真函数)(log)(xpxIa )()|(log)(xpyxpxIa 小结小结互信息量 信息论中的另一个基本概念（差值）对两个随机变量之间统计依存性的信息度量 用来描述信道特性和信源的压缩特性信息熵 信息论中的最基础的基本概念 对随机变量不确定性

16、的最好的度量 用来描述信源的信息特性信息不增性原理信息不增性原理(定理定理2.4)2.4)信道p(y|x)信道 p(z|xy)XYZ);();(ZYIZXYI 当且仅当p(z|xy)=p(z|y)时，等号成立。信息不增性原理信息不增性原理(定理定理2.5)2.5)信道p(y|x)信道 p(z|y)XYZ);();(YXIZXI 当且仅当Y和Z是一一对应关系时，等号成立。平稳离散信源平稳离散信源(1)平稳离散信源的概念(2)平稳离散信源的熵(3)信源的冗余度与信息速率 信源的符号序列统计特性与时间的起点无关平稳离散信源的熵平稳离散信源的熵随机矢量的熵（联合熵）极限熵（熵率）)()(21NXXXH

17、H X平均符号熵)(1)(21NNXXXHNH X)(limXNNHH 则则,)(1 XH)(lim)(lim)(121 NNNNNXXXXHXHXH,.2,1,)(1)(21 NXXXHNXHNN有记忆有记忆平稳离散信源的熵平稳离散信源的熵)()()()()(.)()()()()()(1211211121121121221122112112121 NNNNNNNNNNNNNNNNNNXXXXNHXXXXHXXHXHXXXXHXXHXHXXXXHXXXXHXXXHXXXXHXXXHXXXH）平稳性平稳性)()(1)(12121 NNNNXXXXHXXXHNXH)()()1(1)()()1(1)

18、()(1)(1)(1121112112121XHXHNNXXXXHXHNNXXXXHXXXHNXXXHNXHNNNNNNNNNN )()(1XHXHNN )()()(011XHXHXHNN定理定理)(lim)(121 NNNXXXXHXH无记忆无记忆平稳离散信源的熵平稳离散信源的熵)()()(1lim)(1lim)(lim)(212121NNNNNNNNXHXHXHNXXXHNXXXHH X无记忆平稳离散信源：信源输出为平稳独立的随机序列)()()()(1)()()(1lim)()()(1lim)(21XHXHXHXHNXHXHXHNXHXHXHNHNNN X无记忆无记忆平稳离散信源的熵平稳离

19、散信源的熵无记忆无记忆平稳离散信源的熵平稳离散信源的熵随机矢量的熵（联合熵）极限熵)()()(1XHNXHHNll X平均符号熵)()(limXHHHNN X)()(1)(1XHXHNHNllN X信源的冗余度与信息速率信源的冗余度与信息速率)(XH)(XHm)(XH)(XHm)()()()(log21XHXHXHXHNm )()(XHXHm logN)()()(XHXHXHm 或或NXHRXHXHRmlog)(1)()(1 或或)(log)()(XHNRXHXHRm 或或)(XH)(XH 29.076.44.1 71.01 R信源的冗余度与信息速率信源的冗余度与信息速率信源的冗余度01HHR

20、 信息速率bXHHt/)(H 实际信源熵H0 信源平均符号熵的最大值H(X)信源熵 信源符号平均时长bsbRXHR )(0 x )()()(loglim)()(log)()(limlog)()(log)()(log)()(00XHXHXHxdxxwdxxwxwXHxxxwxxwxwxxwxxwXHccxxkkkkkkkkk连连续续情情况况：离离散散情情况况：连续信源的信息熵连续信源的信息熵)(xwx0 x1kxkxxxwk)()(XH )(XH)(XHc连续信源的信息熵连续信源的信息熵x log连续信源的信息熵连续信源的信息熵连续信源的熵)()()(XHXHXHc dxxxXHXRXc)(lo

21、g)()(相对熵相对熵 xXHx loglim)(0绝对熵绝对熵)(log)()(xpxpXHXXXc dxxwxwXHc)(log)()(连续信源的相对熵连续信源的相对熵 )(,)(10,)ln1(2)()(,)(0,)1(2)(22YHXHyyyyqyqeXfYxxxpccX而而则则为为其其概概率率密密度度令令连续信源的相对熵连续信源的相对熵0)log(1log1)(,01,1)(abdxababXHaxbxabbxaabxpbac则则连续信源的相对熵连续信源的相对熵 其其他他01)(:bxaabxpX)log(1log1)(abdxababXHbac 连续信源的熵计算连续信源的熵计算 d

22、xxpmxmxEdxxxpXEmmmxxpX)()()()(2)(exp21)(:2222222为为方方差差为为均均值值其其中中：连续信源的熵计算连续信源的熵计算222222222222log21log212log)(2log2log2)()(log21log)(2)(exp21log)()(log)()(eedxmxxpedxmxxpedxxpdxmxxpdxxpxpXHc22log21)(eXHc连续信源的熵计算连续信源的熵计算连续信源的信息熵连续信源的信息熵连续信源的条件熵与联合熵dydxxyxyXYHYXRXYRXYc )(log)()(dydxyxxyYXHYXRXYRXYc )|(

23、log)()|(XxYyxypxypXYH)(log)()(XxYyyxpxypYXH)|(log)()|(连续信源的互信息连续信源的互信息连续信源的互信息)()()(log);(yxxyyxIYXXY )()()(log);(ypxpxypyxIYXXY 连续信源的互信息连续信源的互信息连续信源的平均互信息 XYYXXYXYypxpxypxypYXI)()()(log)();(dydxyxxyxyYXIYXRYXXYRXY )()()(log)();(连续信源的I(X;Y)例例:设有二维高斯概率密度函数设有二维高斯概率密度函数 222222)()(2)()1(21exp121)(YYYXYX

24、XXYXXYmymymxmxxy)(xyXY 连续随机变量 X、Y 的均值 连续随机变量 X、Y 的方差 相关系数（归一化协方差）YXYXmymxE )(YX ,YXmm,求 I(X;Y)=?连续信源的连续信源的平均互信息平均互信息计算计算 2222222)(exp21)()(2)(exp21)()()()(yyyXYYxxxXYXYXXYmydxxyymxdyxyxyxxy），求求得得首首先先由由 dxdyyxxyxyYXIYXXYXY)()()(ln)();(解解：连续信源的连续信源的平均互信息平均互信息计算计算符符号号/11ln2121)1(212111ln2)(2)()()(2)()1

25、(2111ln)()()()(ln)();(2222222222222natdxdymymxmymymxmxxydxdyyxxyxyYXIyyxxyyyxyxxxXYYXXYXY 连续信源的连续信源的平均互信息平均互信息计算计算211ln);(YXI连续信源的相对熵、连续信源的相对熵、平均互信息的性质平均互信息的性质0);(YXI);();(XYIYXI)|()();(YXHXHYXIcc )()|(XHYXHcc)|()()(XYHXHXYHccc )|;();();(YZXIYXIYZXI )log()(abXHc badxxq1)(abxp 1)(0|)(|)()()(xpcxqcXHX

26、H连续信源的最大相对熵连续信源的最大相对熵 badxxp1)(0)(12ln11)(1)(2ln1)(1ln)(2ln1)(ln)(2ln1)(log)()log()()(log)()log()(log)(|)(|)()()(bababababababababaxpcxqcdxxqdxabdxabxqxqdxabxqxqdxabxqxqdxabxqxqdxabxqdxxqxqabdxxqxqXHXH)2ln(21)(2 eXHc平平均均功功率率（方方差差）受受限限完完备备性性的的最最大大值值因因子子法法计计算算证证明明：应应用用拉拉格格朗朗日日乘乘dxmxxdxxXHc221)()()()(连

27、续信源的最大相对熵连续信源的最大相对熵221221221221221)()()()()(221)(1)(1.21)()()(ln)(ln)(ln)()(ln)()()()()(mxmxmxmxmxcexxedxxeexdxxeexdxexdxexdxxxdxmxxdxxXH 时时，等等号号成成立立。可可知知，当当由由引引理理连续信源的最大相对熵连续信源的最大相对熵连续信源的最大相对熵连续信源的最大相对熵证证毕毕。高高斯斯分分布布时时相相对对熵熵高高斯斯分分布布的的值值，再再由由两两个个约约束束条条件件求求)2ln(21)(2)(exp21)(2121)(2)()()(222222222322221111 eXHmxxeedxmxxedxxc)(221XHceeP 熵熵功功率率连续信源的熵功率连续信源的熵功率例：有一个连续信源，它发出的随机连续消息的概率密度函数 p（x）=1/2，1 x 3v，求该信源消息的平均功率和熵功率。连续信源的熵功率连续信源的熵功率PPeeeeePnatdxxpxpXHdxxdxmxxpPdxxxpmXHcc 2342.0242121/2ln)(ln)()(6667.4)2(21)()(2)(2ln2)(23123123131熵熵功功率率符符号号相相对对熵熵平平均均功功率率均均值值解解：