1、信源与信息熵信源与信息熵本章内容本章内容 信源的分类及基本的信源数学模型描述、自信息和信息熵的定义及性质、互信息的概念及性质、信源冗余度的描述等。本章重点本章重点 理解信源不确定性的含义，熵函数H(X)的性质、平均互信息量的定义、性质，联合信源的联合熵、条件熵，离散平稳信源的信源熵、极限熵等概念和计算方法。了解马尔可夫信源的定义和计算方法。2.1 2.1 信源的描述和分类信源的描述和分类一、香农信息论的基本点一、香农信息论的基本点 用随机变量或随机矢量来表示信源 用概率论和随机过程的理论来研究信息 常用的信息度量方法统计度量。（另有结构度量、语义度量、语用度量和模糊度量等方法。）5按照信源发出
2、的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类 信源信源离散信源离散信源连续信源连续信源连续信源是连续信源是指发出在时间和幅度上都是连续分布的指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。形等都是连续消息。离散信源是离散信源是指发出在时间和幅度上都是离散分布的指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息的信源，如文字、数字、数据等符号都是离散消息。离散消息。6离散信源离散信源离散无记忆信源离散无记忆信源离散有记忆信源离散有记忆信源发出单个
3、符号的无记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源 离散无记忆信源离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。离散有记忆信源离散有记忆信源所发出的各个符号的概率是有关联的。发出单个符号的信源发出单个符号的信源是指信源每次只发出一个符号代表一个消息。发出符号序列的信源发出符号序列的信源是指信源每次发出一组含二个以上符号的符号序列代表一个消息。发出符号序列的有记忆信源发出符号序列
4、的有记忆信源是指用信源发出的一个符号序列的整体概率（即联合概率）反映有记忆信源的特征。发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源是指某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号，这样的信源可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征。7l单符号离散信源单符号离散信源 定义：一个离散无记忆信源是由定义：一个离散无记忆信源是由n个符号消息个符号消息组成的集合：组成的集合：X=x1，x2 xn，这这n个符号消息的概率分布为：个符号消息的概率分布为：称为符号称为符号xi的先验概率，信源数学模型表示为：的先验概率，信源数学模型表示为：称为概率空间，
5、其中称为概率空间，其中)(,),(),(21nxpxpxpp )()()()(321321nnxpxpxpxpxxxxPX11()0,()1niiip xp x8 例如：对二进制数字与数据信源例如：对二进制数字与数据信源2/12/1101010ppPX9l 单个连续信源单个连续信源 pX(x)为随机变量为随机变量X的概率密度函数的概率密度函数)(),(xpbaPXX1)(baXxp10 随机变量随机变量X和和Y分别取值于集合分别取值于集合 和和 X发生发生xi和和Y发生发生yj的概率的概率为为p(xi)和和p(yj)，它们一定满足，它们一定满足0 p(xi),p(yj)1以及以及和和 。如果考
6、察如果考察X和和Y同时发生同时发生xi和和yj的概率，的概率，则二者构成联合随机变量则二者构成联合随机变量XY，取值于集，取值于集合合xiyj|i=1,2,n,j=1,2,m，元素，元素xiyj发发生的概率称为生的概率称为联合概率联合概率，用，用p(xi yj)表示表示。nxxx,21nyyy,211)(1niixp1)(1njjyp11 如如X发生发生xi以后，以后，Y又发生又发生yj的的条件概率为条件概率为p(yj/xi)，代表代表xi已知的情况下，又出现已知的情况下，又出现yj的概的概率。当率。当xi不同时，即使发生同样的不同时，即使发生同样的yj，其条件，其条件概率也不同，说明概率也不
7、同，说明xi对对yj的影响。而的影响。而p(yj)则是对则是对xi一无所知情况下，一无所知情况下，yj发生的概率，有时相应发生的概率，有时相应地称为地称为p(yj)为为yj的无条件概率。同理，的无条件概率。同理，yj 已知已知的条件下的条件下xi 的的条件概率记为条件概率记为p(xi/yj)。相应地相应地，p(xi)称为称为xi的无条件概率。的无条件概率。12111111110(),(),(/),(/),()1()1,()1,(/)1,(/)1,()1()(),()()ijijjiijnmnijijijimmnjiijjjinmijjijiijp xp yp xyp yxp x yp xp y
8、p xyp yxp x yp x yp yp x yp x基本性质：13 1 1）条件概率）条件概率 2 2）联合概率）联合概率)()()|(,)()()|(ijiijjjijixpyxpxypypyxpyxp)|()()(),|()()(ijijijijjixypxpyxpyxpypyxp14 3)3)全概率全概率：4)Bayes4)Bayes公式公式:mjjimjjijinijiniijijyxpyxpypxpyxpxypxpyp1111)()|()()()()|()()()()|()()|()()|()()|(ijijijjijijixpyxpypxypypxypxpyxp152.2 2
9、.2 离散信源熵和互信息离散信源熵和互信息16 信源发出消息，经过信道，到达信宿，信宿收到信源发出消息，经过信道，到达信宿，信宿收到消息，获得了信息，这个过程就称作通信。我们现在消息，获得了信息，这个过程就称作通信。我们现在来研究通信的源头，也就是信源的特性。那么实际有来研究通信的源头，也就是信源的特性。那么实际有用的信源应该具有什么特性呢？我们认为它应该具有用的信源应该具有什么特性呢？我们认为它应该具有不确定性（不肯定性）。信源至少应该包含两种不同不确定性（不肯定性）。信源至少应该包含两种不同的消息，例如两元信元（包含的消息，例如两元信元（包含0、1），而信宿是知道），而信宿是知道信元发送（
10、信元发送（0、1）的，但是它就是不知道在具体的某）的，但是它就是不知道在具体的某一时刻，信源发送的是哪个消息。这是显然的，如果一时刻，信源发送的是哪个消息。这是显然的，如果它知道，就不需要通信了！它知道，就不需要通信了！17 【例【例2.1】某二元信源（含有两个不同消息的信源）】某二元信源（含有两个不同消息的信源）发发送送1的概率的概率0.99，0的概率的概率0.01，信宿仅凭猜测就可以信宿仅凭猜测就可以简单的认为信源发出的消息始终都是简单的认为信源发出的消息始终都是1，即使如此，即使如此，猜错的概率仅为百分之一。这说明在这种情况下，信猜错的概率仅为百分之一。这说明在这种情况下，信源基本上在发
11、送源基本上在发送1，信源的不确定性很小。，信源的不确定性很小。【例【例2.2】某二元信源】某二元信源发送发送1和和0的概率相等的概率相等，均为，均为0.5，这时信宿不依赖通信仅凭猜测的话，猜错的概率高达这时信宿不依赖通信仅凭猜测的话，猜错的概率高达50%。这说明在这种情况下，猜测信源发送什么消息。这说明在这种情况下，猜测信源发送什么消息就困难了，因为信源发送什么消息相当不确定。就困难了，因为信源发送什么消息相当不确定。18 【例【例2.3】如果信源具有更多的消息，例如发】如果信源具有更多的消息，例如发10个数字个数字0,1.9(例如采用例如采用4位十进制树的中文位十进制树的中文电报电报)，而且
12、假定这是个消息是等概率分布的，而且假定这是个消息是等概率分布的，均为均为0.1，这时信宿仅凭猜测的话，就更难猜，这时信宿仅凭猜测的话，就更难猜了。因为信源发送什么消息更加不确定。了。因为信源发送什么消息更加不确定。【例【例2.4】现在讨论一种极端的情况，信源只发】现在讨论一种极端的情况，信源只发送一种消息，即永远只发送送一种消息，即永远只发送1或者只发送或者只发送0，从，从这样的信源中我们就不能从中获取任何信息，这样的信源中我们就不能从中获取任何信息，也就是说信源的不确定性为也就是说信源的不确定性为0。19 信源如果没有不确定性，那么就没有实用价值。不信源如果没有不确定性，那么就没有实用价值。
13、不确定度和发送的消息数目和发送符号的概率有关。为确定度和发送的消息数目和发送符号的概率有关。为了确切的描述信源，我们采用概率空间来描述信源。了确切的描述信源，我们采用概率空间来描述信源。离散信源离散信源：若一类信源输出的消息常常是以一个个：若一类信源输出的消息常常是以一个个符号的形式出现，例如文字、字母等，这些符号的取符号的形式出现，例如文字、字母等，这些符号的取值是有限的或可数的，这样的信源称为离散信源。比值是有限的或可数的，这样的信源称为离散信源。比如（如（0、1）二元信元，它的消息是以一定的概率来出）二元信元，它的消息是以一定的概率来出现的，所以可以采用概率空间来描述。现的，所以可以采用
14、概率空间来描述。若信源的输出是随机变量若信源的输出是随机变量X，其出现概率为，其出现概率为P(X)，则它们所构成的集合，称为信源的则它们所构成的集合，称为信源的概率空间概率空间或简称为或简称为信源空间信源空间。20 1)定义：定义：一个符号消息一个符号消息 xi 的的自信息量自信息量为其发生概率的为其发生概率的对数的负数，并记为对数的负数，并记为 I(xi)；I(xi)=-log p(xi)当当p(xi)=0，则，则 I(xi)；当；当p(xi)=1，则，则 I(xi)=0.2)自信息量的单位自信息量的单位 自信息量的单位与所用对数的底有关：自信息量的单位与所用对数的底有关：1 对数的底是对数
15、的底是2 时，单位为时，单位为比特比特 bit(binary unit)2 对数的底是对数的底是 e(自然对数自然对数)时，单位为时，单位为奈特奈特 nat(nature unit)21 3 对数的底是对数的底是10(常用对数常用对数)时，单位为时，单位为笛特或哈特笛特或哈特 det(decimal unit)or Hart(Hartley)三种信息量单位之间的换算：三种信息量单位之间的换算：1 det=log2 10 3.322 bit 1 bit=ln 2 0.6931 nat 1 bit =lg 2 0.3010 det 1 nat=log2 e 1.4427 bit 在信息论中常用以在
16、信息论中常用以2为底的对数，为了书写方便，以为底的对数，为了书写方便，以后将后将log2书写为书写为log，因其单位为比特，因其单位为比特bit，不会产生混，不会产生混淆；淆；注意注意 有些文献将有些文献将log2书写为书写为 lb。22 【例【例2.5】一个】一个1,0等概的二进制随机序等概的二进制随机序列，求任一码元的自信息量。列，求任一码元的自信息量。解：任一码元不是为解：任一码元不是为0就是为就是为1因为因为 P(0)=P(1)=1/2所以所以 I(0)=I(1)=lb(1/2)=1(bit)23 【例【例2.6】对于对于2n进制的数字序列进制的数字序列,假设每一符假设每一符号的出现完
17、全随机且概率相等，求任一符号的号的出现完全随机且概率相等，求任一符号的自信息量。自信息量。解：设解：设2n进制数字序列任一码元进制数字序列任一码元xi的出现概率的出现概率为为p(xi)，根据题意，根据题意，p(xi)=1/2n I(xi)=lb(1/2n)=n(bit)事件的自信息量只与其概率有关，而与它的事件的自信息量只与其概率有关，而与它的取值无关。取值无关。24 3)自信息量的含义自信息量的含义 是随机量、根据单个符号消息的先验概率确是随机量、根据单个符号消息的先验概率确定其信息量和不确定度。是该符号出现后，提定其信息量和不确定度。是该符号出现后，提供给收信者的信息量。供给收信者的信息量
18、。4)随机事件的不确定度：随机事件的不确定度：不确定度在数量，单位与自信息量相同，含不确定度在数量，单位与自信息量相同，含义不同。具有某种概率的信源符号在发生之前，义不同。具有某种概率的信源符号在发生之前，存在不确定度，不确定度表征该符号的特性。存在不确定度，不确定度表征该符号的特性。25 5)自信息量自信息量 I(xi)的特性的特性 1事件事件xi 先验概率先验概率p(xi)=1（确定事件确定事件）,则不存在不则不存在不确定性，同时不会带来信息量；确定性，同时不会带来信息量；I(xi)=0。2事件事件xi 先验概率先验概率p(xi)=0（不可能事件不可能事件）,则存在不则存在不确定性应为无穷
19、大，同时会带来无穷的信息量；确定性应为无穷大，同时会带来无穷的信息量；I(xi)3非负性非负性 4单调性单调性 若有两个事件若有两个事件xi，xj，其先验概率为，其先验概率为p(xi)p(xj)，则事件，则事件xi 比事件比事件xj 有更大的不确定性，同时有更大的不确定性，同时会带来更多的信息量；会带来更多的信息量；I(xi)I(xj)5可加性可加性 两个统计独立事件的联合自信息量应等于两个统计独立事件的联合自信息量应等于它们各自信息量之和它们各自信息量之和;则则 I(x y )=I(x)I(y)26 6)联合自信息量与条件自信息量联合自信息量与条件自信息量 1 联合自信息量联合自信息量 定义
20、定义：若有两个消息：若有两个消息xi，yj同时出现，用联合概率同时出现，用联合概率p(xi yj)表示，联合自信息量为：表示，联合自信息量为：I(xi yj)=log p(xi yj)当当X和和Y相互独立时，相互独立时，p(xiyj)=p(xi)p(yj)，代入到前，代入到前式就有：式就有：I(xiyj)=-log2p(xi)-log2p(yj)=I(xi)+I(yj)说明两个随机事件相互独立时，同时发生得到的自说明两个随机事件相互独立时，同时发生得到的自信息量，等于这两个随机事件各自独立发生得到的自信息量，等于这两个随机事件各自独立发生得到的自信息量之和。信息量之和。27 2 条件自信息量条
21、件自信息量 定义：定义：在事件在事件yj 出现条件下，出现条件下，xi发生的条件概发生的条件概率为率为p(xi|yj)，则，则 xi的条件自信息量为：的条件自信息量为：I(x i|yj)=log p(xi|yj)由于随机事件（消息）的概率在由于随机事件（消息）的概率在01范围内，范围内，所以联合信息量和条件自信息量也满足非负和所以联合信息量和条件自信息量也满足非负和单调递减性。单调递减性。28 联合自信息、条件自信息与自信息间联合自信息、条件自信息与自信息间的关系的关系 I(xiyj)=-log2p(xi)p(yj|xi)=I(xi)+I(yj|xi)=-log2p(yj)p(xi|yj)=I
22、(yj)+I(xi|yj)29作为信源总体信息测度的量应是信源各作为信源总体信息测度的量应是信源各个不同符号个不同符号xi(i=1,2,N)所包含的自所包含的自信息量信息量I(xi)(i=1,2,N)在信源空间在信源空间P(X)=p(x1),p(x2),p(xi),p(xN)中的统计平均值。中的统计平均值。30 【例【例2.7】一个布袋内放】一个布袋内放100个球，其中个球，其中80个球个球为红色，为红色，20球为白色。若随机摸取一个球，球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）猜测其颜色，求平均摸取一次所获得的（自）信息量。信息量。解：随机事件的概率空间为解：随机事
23、件的概率空间为2.08.021xxPX31 当被告知摸出红球的信息量是当被告知摸出红球的信息量是 当被告知摸出白球的信息量是当被告知摸出白球的信息量是 如果每次摸出一个球后又放回袋中，再进行如果每次摸出一个球后又放回袋中，再进行下一次摸取且如此摸取下一次摸取且如此摸取n次，那么红球出现的次，那么红球出现的次数为次数为np(x1)，白球出现的次数为，白球出现的次数为np(x2)。随。随机摸取机摸取n次后总共所获得的信息量为次后总共所获得的信息量为bitlbxpxI8.0)(log)(11bitlbxpxI2.0)(log)(22)()()()(2211xIxnpxIxnp32 而平均随机摸取而平
24、均随机摸取1次所获得的信息量为次所获得的信息量为)(log)()(log)()(log)()()()()(12122112211iiixpxpxpxpxpxpxIxnpxIxnpn33 1)定义定义 信息源的信息源的平均不确定度平均不确定度为信源中各个为信源中各个符号不确定符号不确定 度的度的数学期望数学期望，记作，记作H(X)其中其中 H(X)又称为信源又称为信源X的的信源熵。信源熵。niiixpxp11)(,0)(niiiniiixxpxIxpXH11)log()()()()(34 2)H(X)的含义的含义 1 表示的是信源的平均不确定度。表示的是信源的平均不确定度。2 表示信源表示信源
25、X 发出一个符号提供的平均信息量。发出一个符号提供的平均信息量。3 是统计量、数学期望（统计平均）、各个符号平均是统计量、数学期望（统计平均）、各个符号平均不确定度和平均信息量。不确定度和平均信息量。3)信源熵单位：信源熵单位：二进制二进制:bit/:bit/信源符号，或信源符号，或bit/bit/信源序列信源序列 十进制十进制:det/:det/信源符号，或信源符号，或det/det/信源序列信源序列 e e进制进制:nat/:nat/信源符号，或信源符号，或nat/nat/信源序列信源序列354)信源熵的三种特殊情况信源熵的三种特殊情况1 当当 p(xi)=0 时（时（p(xi)0），则）
26、，则 p(xi)log p(xi)=02 信源信源 X=x1，x2 xn ，若其中，若其中xi 的概率的概率p(xi)=1 则其余则其余 xj 的的 p(xj)=0，因为，因为 则则 H(X)=0 bit/信源符号信源符号3 当信源中当信源中X所有所有n个符号均有相同的概率个符号均有相同的概率 p(xi)=1/n，则则 H(X)=-(1/n)log(1/n)=log n bit/信源符号信源符号36 【例【例2.8】设信源符号集】设信源符号集X=x1,x2,x3，每个符号发，每个符号发生的概率分别为生的概率分别为p(x1)=1/2，p(x2)=1/4，p(x3)=1/4，则信源熵为则信源熵为
27、即该信源中平均每符号所包含的信息量为即该信源中平均每符号所包含的信息量为1.5bit，也即为了表明和区分信源中的各个符号只需用也即为了表明和区分信源中的各个符号只需用1.5bit。符号/5.1441441221)(bitlblblbXH37 【例【例2.10】二元符号信源】二元符号信源0，1 符号符号0 的概率的概率 p(0)=p，则，则 p(1)=1-p H(X)=-p log p+(+(1-p)log(1-p)p=0.5时时H(X)有最大值，有最大值，H(X)=1bit/信源符信源符号号3800.20.40.60.81.00.20.40.60.81.0p()H p39 5)条件熵与联合熵条
28、件熵与联合熵 1 条件熵条件熵 在给定在给定 y j 条件下，条件下，x i 的条件自信息量为：的条件自信息量为：I(x i|yj)=log p(xi|yj)集合集合X的条件熵为：的条件熵为：在给定在给定Y（即各个（即各个yj）条件下，集合）条件下，集合X的条件熵定义为：的条件熵定义为：nijijijyxIyxpyH1)|()|()|(XmjnijijijijimjnijmjjjyxpyxpyxpyxpypyXHypH1122111)|(log)()|(log)|()()|()()|(YX402 联合熵（共熵）联合熵（共熵）联合熵联合熵是联合符号集合是联合符号集合XY上的每个元素对上的每个元素
29、对xi,yj的自信息的自信息量的概率加权的统计平均值。量的概率加权的统计平均值。nimjjijinimjjijiyxyxpyxIyxpXYH11211)p()log()()()(413 条件熵与联合熵的关系条件熵与联合熵的关系 I(x i|y j)=log p(x i|y j)，I I(x i y j)=)=log p(x i y j)()()(|)ijijip x yp x p yx 1)|()()()(jjijjjiiyxpypyxpxp()()log()(|)()log()()log(|)ijijiijijiijjiijijH XYp x yp xp yxp x yp xp x yp y
30、x 42所以所以 H(X Y)=H(X)H(Y|X)同理同理 H(X Y)=H(Y)H(X|Y)当当X和和Y相互独立时，有相互独立时，有)/()/()()()()()(12112121NNNXXXXHXXHXHXXXHYHXHXYH推广431)简单的通信模型简单的通信模型 若信源发出符号若信源发出符号xi，由于信道存在干扰，收到的，由于信道存在干扰，收到的不是不是xi而是而是yi ，从，从yi中获取有关中获取有关xi 的信息量称为互的信息量称为互信息量，用信息量，用I(xi;yi)表示。表示。信源信源X有干扰有干扰离散信道离散信道信宿信宿Y干扰源干扰源441 信源发送符号信源发送符号xi，同时
31、信宿接收符号，同时信宿接收符号yj的联合概率：的联合概率：其中：其中：p(xi)为信源符号为信源符号xi的先验概率的先验概率。p(yj|xi)为信源符号为信源符号xi已发送，信宿接收到已发送，信宿接收到yj的条件概率；的条件概率；称为信道的称为信道的传递概率传递概率或或转移概率转移概率或或前向概率前向概率。注意：注意：p(yi|xi)是在信源发送是在信源发送xi的情况下，信宿接收到的情况下，信宿接收到 yi的概率，该概率是可通过统计获得的。的概率，该概率是可通过统计获得的。2 信宿接收符号信宿接收符号 y j 的概率的概率)|()()(ijijixypxpyxp 1)|()()()(iijii
32、jijxypxpyxpyp45 3 信宿接收信宿接收yj 后，推测信源发送的符号是后，推测信源发送的符号是xi 的的概概率（后验概率）率（后验概率）：p(xi|yi)()|()()|(jijijiypxypxpyxp 1()(|)(|)()(|)ijiijnijiip x p yxp xyp x p yx46 4 互信息量互信息量 定义定义：后验概率与先验概率比值的对数称为：后验概率与先验概率比值的对数称为互信息量互信息量，记为记为I(xi；yj)1.当当 p(xi|yj)=1，则，则I(xi;yj)=I(xi)2.当当 xi，yj 互不相关，互不相关，p(xi|yj)=p(xi)，则，则 I
33、(xi;yj)=0 3.互信息量单位互信息量单位 bit(|)(;)loglog()log(|)()ijijiijip x yI x yp xp x yp x)|(log)(log)()|(log);(jijijijiyxpypypyxpyxI 47 I(xi;yj)=I(xi)-I(xi|yj)互信息量等于自信息量减去条件自信息量。自信息量互信息量等于自信息量减去条件自信息量。自信息量在数量上与随机事件发出的在数量上与随机事件发出的xi不确定度相同，可以理解不确定度相同，可以理解为对为对yj一无所知的情况下一无所知的情况下xi存在的不确定度。同理，条存在的不确定度。同理，条件自信息量在数量上
34、等于已知件自信息量在数量上等于已知yj的条件下，的条件下，xi仍然存在仍然存在的不确定度。两个不确定度差，是不确定度被消除的部的不确定度。两个不确定度差，是不确定度被消除的部分，代表已经确定的东西，实际是从分，代表已经确定的东西，实际是从yj得到的关于得到的关于xi的的信息量。信息量。48 5 互信息量的性质互信息量的性质 I(xi;yj)=I(yj;xi)I(xi;yj)=I(xi)-I(xi|yj)I(xi;yj)=I(xi|yj)-I(yi)49 6 互信息量计算互信息量计算 已知已知:信源符号信源符号x i的概率的概率p(xi)-先验概率先验概率,信源信源 x i 发送的条件下，信宿接
35、收到发送的条件下，信宿接收到 yj的概率的概率p(yj|xi)互信息量计算即如何求互信息量计算即如何求 p(xi|yj)/p(xi)1.联合概率联合概率 2.全概率全概率 3.后验概率与后验概率与先验概率之比先验概率之比)|()()(ijijixypxpyxp 1)|()()()(iijiijijxypxpyxpyp)()|()()|(jijijiypxypxpyxp 50 【例【例2.11】某二元通信系统】某二元通信系统x0=0，x1=1，信源发送，信源发送x0和和x1的概率分别为的概率分别为p(0)=1/2，p(1)=1/2;信宿信宿 y0=0,y1=1 由于信道中有干扰，由于信道中有干扰
36、，当信源发送当信源发送0时，时，信宿接收为信宿接收为0的概率的概率 p(y0|x0)=p(0|0)=3/4 信宿接收为信宿接收为1的概率的概率 p(y1|x0)=p(1|0)=1/4 当信源发送当信源发送1时，时，信宿接收为信宿接收为0的概率的概率 p(y0|x1)=p(0|1)=1/5 信宿接收为信宿接收为1的概率的概率 p(y1|x1)=p(1|1)=4/5 求互信息量求互信息量 I(x0;y0),I(x0;y1),I(x1;y0),I(x1;y1)51 x0=0 p(0|0)=3/4 y0=0 p(0|1)=1/5 p(1|0)=1/4 x1=1 p(1|1)=4/5 y1=1 1.联合
37、概率联合概率 p(x0 y0)=p(x0)p(y0|x0)=1/2 3/4=3/8 p(x0 y1)=p(x0)p(y1|x0)=1/2 1/4=1/8 p(x1 y0)=p(x1)p(y0|x1)=1/2 1/5=1/10 p(x1 y1)=p(x1)p(y1|x1)=1/2 4/5=4/10522.全概率全概率 p(y0)=p(x0 y0)+p(x1 y0)=3/8+1/10=19/40 p(y1)=p(x0 y1)+p(x1 y1)=1/8+4/10=21/403.后验概率与后验概率与先验概率之比先验概率之比 p(x0|y0)/p(x0)=p(y0|x0)/p(y0)=3/419/40=
38、30/19 p(x0|y1)/p(x0)=p(y1|x0)/p(y1)=1/421/40=10/21 p(x1|y0)/p(x1)=p(y0|x1)/p(y0)=1/519/40=8/19 p(x1|y1)/p(x1)=p(y1|x1)/p(y1)=4/521/40=32/21 4.互信息量互信息量 I(x0;y0)=log(30/19)bit I(x0;y1)=log(10/21)bit I(x1;y0)=log(8/19)bit I(x1;y1)=log(32/21)bit532)条件互信息量条件互信息量 假设假设XYZ空间的事件空间的事件xi、yj、zk，那么事件，那么事件yjzk出现出
39、现后，从后，从yjzk中获取关于中获取关于xi的信息量是多少呢？的信息量是多少呢？如果把如果把yjzk看作一个事件，则有看作一个事件，则有)()|(lb);(ikjikjixPzyxPzyxI54 将上式分子分母同乘以将上式分子分母同乘以P(xi|zk)，得，得 上式第一项是上式第一项是xi与与zk之间的互信息量；之间的互信息量；第二项定义为在第二项定义为在zk条件下条件下xi与与yj之间的互信息之间的互信息量，简称为条件互信息量。量，简称为条件互信息量。)|()()/()|(lb)()|(lb)(kjikikikjiikikjizyxIzxIzxPzyxPxPzxPzyxI；55 互信息量、
40、联合事件互信息量、条件互信互信息量、联合事件互信息量、条件互信息量三者都是随机变量，其值随着变量息量三者都是随机变量，其值随着变量xi、yj、zk的变化而变化。的变化而变化。三者之间有如下的关系式：三者之间有如下的关系式：)|()()(jkijikjiyzxIyxIzyxI；56 3)平均互信息量平均互信息量 定义定义 互信息量互信息量I(xi;yj)在联合概率空间在联合概率空间P(XY)上的统计平上的统计平均值称平均互信息量均值称平均互信息量,用用 I(X;Y)表示表示 平均互信息量单位平均互信息量单位 bit/消息消息)()|(log)();()();(ijiijijijijijxpyxp
41、yxpyxIyxpYXI 57 当信宿收到某一具体符号当信宿收到某一具体符号yj后，从后，从yj中获取关于输入符号中获取关于输入符号的平均信息量，显然应该是在条件概率空间中的统计平均，的平均信息量，显然应该是在条件概率空间中的统计平均，可用可用I(X；yj)表示，有表示，有 再对其在集合再对其在集合Y中取统计平均，得中取统计平均，得niijijinijijijxpyxpyxpyxIyxpyI021)()|(log)|()()|()(；X);()()()|(lb)()()|(lb)|()();()();(1111111jinimjjimimjijijinimjijijijmjjjyxIyxpxp
42、yxpyxpxpyxpyxpypyIypIXYX58平均互信息的三种不同的形式表达式平均互信息的三种不同的形式表达式)()()(log)();()()|(log)();()();()()|(log)();()();(2112111121111jijinimjjijijnimjjixjnimjjiijinimjjijinimjjiypxpyxpyxpIypxypyxpxyIyxpXYIxpyxpyxpyxIyxpIYXYX594)平均互信息量的性质平均互信息量的性质 1 对称性对称性 I(X;Y)=I(Y;X)()|(log)();()();(ijiijijijijijypxypyxpxyIyx
43、pXYI 60 2 非负性非负性 I(X;Y)0 平均互信息量的非负性告诉我们：从整体和平均的平均互信息量的非负性告诉我们：从整体和平均的意义上来说，信道每通过一条消息，总能传递一定的意义上来说，信道每通过一条消息，总能传递一定的信息量，或者说接收端每收到一条消息，总能提取到信息量，或者说接收端每收到一条消息，总能提取到关于信源关于信源X的信息量，等效于总能使信源的不确定度的信息量，等效于总能使信源的不确定度有所下降。也可以说从一个事件提取关于另一个事件有所下降。也可以说从一个事件提取关于另一个事件的信息，最坏的情况是的信息，最坏的情况是0，不会由于知道了一个事件，不会由于知道了一个事件，反而
44、使另一个事件的不确定度增加。反而使另一个事件的不确定度增加。61 3 极值极值性性 I(X;Y)H(X)I(Y;X)H(Y)因此因此 I(X;Y)=H(X)H(X|Y)当当X与与Y无关时，无关时，H(X|Y)=H(X)，则，则I(X;Y)=0；表示；表示无法从无法从Y中获取中获取X的信息。的信息。ijijijixpyxpyxpYXI)()|(log)();(ijijjijiijiyxpyxpxpyxp)|(log)()(log)(iijjijiiiyxpyxpxpxp)|(log)()(log)(62 4 凸函数性凸函数性 由平均互信息量的定义由平均互信息量的定义 显然平均互信息量是信源概率分
45、布显然平均互信息量是信源概率分布p(xi)和表示输和表示输入输出之间关系的条件概率或称信道传递概率分布入输出之间关系的条件概率或称信道传递概率分布p(yj|xi)的函数，即的函数，即niijiijnimjijijijnimjjixypxpxypxypxpypxypyxpI1211211)|()()|(log)|()()()|(log)();(YX63 若固定信道，调整信源，则平均互信息量是信源概若固定信道，调整信源，则平均互信息量是信源概率分布率分布p(xi)的函数的函数 反之若固定信源，调整信道，则平均互信息量是信反之若固定信源，调整信道，则平均互信息量是信道传递概率或称信道转移概率分布道传
46、递概率或称信道转移概率分布p(yj|xi)的函数的函数 fp(xi)和和fp(yj|xi)具有不同的数学特性具有不同的数学特性)();(ixpfYXI)|();(ijxypfYXI64 平均互信息量平均互信息量I(X;Y)是信源概率分布是信源概率分布p(xi)的上凸函数的上凸函数 平均互信息量平均互信息量I(X;Y)是信道转移概率是信道转移概率p(yj|xi)的下凸函数的下凸函数65 5)平均互信息量的物理意义平均互信息量的物理意义 I(X;Y)=H(X)H(X|Y)1 H(X)是符号集合是符号集合X 的熵或不确定度的熵或不确定度 2 H(X|Y)是当信宿已收到是当信宿已收到Y时，时，X的条件
47、熵或不确的条件熵或不确定度（仍有疑义），表示通信过程中信息在信道中的定度（仍有疑义），表示通信过程中信息在信道中的损失量，称为损失量，称为信道疑义度信道疑义度或或疑义度；疑义度；3 I(X;Y)表示信宿获得的净信息量；表示信宿获得的净信息量；4 平均互信息量平均互信息量I(X;Y)考虑全部消息，根据统计平均考虑全部消息，根据统计平均的计算得出一个确定的量，是信道中流通的信息量的的计算得出一个确定的量，是信道中流通的信息量的整体测度。整体测度。66 I(Y;X)=H(Y)H(Y/X)说明平均互信息量也可以用接收端（信宿）的熵为参说明平均互信息量也可以用接收端（信宿）的熵为参考，且等于信宿熵减掉一
48、个条件熵考，且等于信宿熵减掉一个条件熵 同样表征接收端平均每收到一个符号所获得的信息量。同样表征接收端平均每收到一个符号所获得的信息量。如果信道上没有任何干扰或噪声，则平均每收到一个如果信道上没有任何干扰或噪声，则平均每收到一个符号所获得的信息量即是信宿熵，即符号所获得的信息量即是信宿熵，即I(X;Y)=H(Y)；但是，如果信道上存在着干扰或噪声，则平均每收到但是，如果信道上存在着干扰或噪声，则平均每收到一个符号所获得的信息量，它比起信宿熵小了一个条件一个符号所获得的信息量，它比起信宿熵小了一个条件熵，这个条件熵熵，这个条件熵H(Y/X)是由于信道的干扰或噪声给出是由于信道的干扰或噪声给出的，
49、因此它是唯一地确定信道噪声和干扰所需的平均信的，因此它是唯一地确定信道噪声和干扰所需的平均信息量，故称之为噪声熵，也称为散布度。息量，故称之为噪声熵，也称为散布度。67 I(X;Y)=H(X)+H(Y)H(XY)根据各种熵的定义，从该式可以清楚看出平均互根据各种熵的定义，从该式可以清楚看出平均互信息量是一个表征信息流通的量，信息量是一个表征信息流通的量，其物理意义就是信源端的信息通过信道后传输到其物理意义就是信源端的信息通过信道后传输到信宿端的平均信息量。信宿端的平均信息量。)|()()()(1)()(1log)()(1log)()()()(log)();(11111212112YXHYHXH
50、yxpyxpypyxpxpyxpypxpyxpyxpIjinimjjininimjjjimjijinimjjijijiYX68 【例【例2.12】已知信源空间】已知信源空间 信道特性如图所示，求在该信道上传输的平均互信信道特性如图所示，求在该信道上传输的平均互信息量息量I(X;Y)，疑义度，疑义度H(X|Y)，噪声熵，噪声熵H(Y|X)和共和共熵熵H(XY)。5.05.021xxpX 0.98 x1 y1 x2 y2 0.80 69解（解（1）根据）根据P(xiyj)=P(xi)P(yj|xi)，求各联合概率，得，求各联合概率，得P(x1y1)=P(x1)P(y1|x1)=0.50.98=0.
