1、第第4章信息率失真函数章信息率失真函数12021/2/22第第4章章 信息率失真函数信息率失真函数第第4章章 信息率失真函数信息率失真函数本章主要讨论在信源允许一定失真情况下所需的最少信息率，从分析失真函数、平均失真出发，求出信息率失真函数R(D)。32021/2/22第第4章章 信息率失真函数信息率失真函数平均失真和信息率失真函数平均失真和信息率失真函数离散信源和连续信源的离散信源和连续信源的R(D)计算计算42021/2/224.1平均失真和信息率失真函数平均失真和信息率失真函数失真函数失真函数平均失真平均失真信息率失真函数信息率失真函数R(D)信息率失真函数的性质信息率失真函数的性质52
2、021/2/224.1.1 失真函数失真函数失真函数的意义失真函数的意义在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数。的失真测度。为此可引入失真函数。62021/2/224.1.1 失真函数失真函数失真函数的定义失真函数的定义假如某一信源X，输出样值为xi，xia1,an，经过有失真的信源编码器，输出Y，样值为yj，yj b1,bm。如果xiyj，则认为没有失真；如果xiyj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数失
3、真函数d(xi,yj)，以衡量用yj代替xi所引起的失真程度。一般失真函数定义为：0,(),0,ijijijxyd x,yxy72021/2/224.1.1 失真函数失真函数失真矩阵失真矩阵将所有的d(xi,yj)排列起来，用矩阵表示为称d为失真矩阵。111212122212(,)(,)(,)(,)(,)(,)(,)(,)(,)mmnnnmd a bd a bd a bd a bd a bd a bd a bd a bd a bd82021/2/224.1.1 失真函数失真函数失真函数举例失真函数举例例：设信源符号序列为X=0,1，接收端收到符号序列为Y=0,1,2，规定失真函数为则其失真矩阵
4、为：0,01,100,11,010,21,20.5dddddd010.5100.5d92021/2/224.1.1 失真函数失真函数失真函数的数值失真函数的数值值得注意的是，失真函数d(xi,yj)的数值是依据实际应用情况，用yj代替xi所导致的失真大小。是人为决定的是人为决定的。失真函数的形式可以根据需要任意选取。102021/2/224.1.1 失真函数失真函数常用的失真函数常用的失真函数注：注：前三种失真函数适用于连续信源，后一种适用于离散信源。2(,)()ijijd x yxy均方失真：(,)|ijijd x yxy绝对失真：(,)|/|ijijid x yxyx相对失真：0,(,)(
5、)1,ijijijxyd x yxy误码失真：其他112021/2/224.1.1 失真函数失真函数符号序列的失真函数符号序列的失真函数失真函数的定义可以推广到符号序列的情况，如果假定离散信源输出符号序列X=(X1,X2,Xl,XL)，其中L长符号序列样值xi=(xi1,xi2,xil,xiL)，经信源编码后，输出符号序列Y=(Y1,Y2,Yl,YL)，其中L长符号序列样值yj=(yj1,yj2,yjl,yjL)，则失真函数定义为：其中d(xil，yjl)是信源输出xi中的第l个符号xil，经编码后输出yj中的第l个符号yjl时的失真函数。11(,)(,)llLLijijldd xyLx y1
6、22021/2/224.1.2 平均失真平均失真平均失真的定义平均失真的定义由于xi和yj都是随机变量，所以失真函数d(xi,yj)也是随机变量，要分析整个信源的失真大小，就需要用其数学期望或统计平均值表示，因此将失真函数的数学期望称为平均失真平均失真，记为：1111(,)(,)()(|)(,)nmnmijijijiijijijDp a b d a bp a p ba d a b132021/2/224.1.2 平均失真平均失真平均失真的物理含义平均失真的物理含义()(|)ijiDp ap ba平均失真 是对给定信源分布经过某一种转移概率分布为的有失真信源编码器后产生失真的总体度量。信源编码器
7、(|)jip yxixjy把它想象成信道142021/2/224.1.2 平均失真平均失真消息序列的平均失真消息序列的平均失真对于L长消息序列的编码情况，其平均失真为：1111(,)llLLLlijllDE d xyDLLlDl其中是第 个符号的平均失真。152021/2/224.1.2 平均失真平均失真失真函数与平均失真的区别失真函数与平均失真的区别失真函数：失真函数：描述了某个信源符号通过传输后失真的大小。平均失真：平均失真：描述某个信源在某一试验信道传输下的失真大小，它对信源和信道进行了统计平均，是从总体上描述整个系统的失真。162021/2/224.1.3 信息率失真函数信息率失真函数
8、R(D)信源编码问题的研究信源编码问题的研究如图所示，信源X经过有失真的编码器输出Y，将这样的编码器看作是存在干扰的假象信道，Y当作接收端的符号。这样就可以用分析信道传输的方法来研究限失真信源编码问题。naaax,21信源编码器信源编码器nbbby,21XY假想信道假想信道172021/2/224.1.3 信息率失真函数信息率失真函数R(D)信源编码问题的研究信源编码问题的研究信源编码器的目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足保真度准则保真度准则的条件下，即：选择一种编码方法使信息率R尽可能小。DD182021/2/224.1.
9、3 信息率失真函数信息率失真函数R(D)信源编码问题的研究信源编码问题的研究信息率R就是所需输出的有关信源X的信息量。将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(yj|xi)就对应信道转移概率。192021/2/224.1.3 信息率失真函数信息率失真函数R(D)D允许试验信道允许试验信道由称为D允许试验信道允许试验信道。11()(|)(,)nmijiijijDp a p ba d a b()(|)(,)()(,)ijiijiijijDp xp yxd x yp xd x yDDpP
10、可知平均失真由信源分布、假想信道的转移概率和失真函数决定。若和已知，则满足的所有转移概率分布就构成了一个信道集合，则(|):1,2,;1,2,DjiPp baDDin jm，202021/2/224.1.3 信息率失真函数信息率失真函数R(D)信息率失真函数信息率失真函数R(D)由于互信息取决于信源分布和信道转移概率分布，根据前面所述，当当p(xi)一定时，互信息一定时，互信息I是关于是关于p(yj|xi)的的U型型凸函数，存在极小值。凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X;Y)达到最小。该最小的互信息就称为信
11、息率失真函数R(D)，即：()min(;)DPR DI X Y212021/2/224.1.3 信息率失真函数信息率失真函数R(D)信息率失真函数信息率失真函数R(D)在限定失真为D的条件下信源输出的最小信息速率。PD是所有满足保真度准则的试验信道集合。()min(;)DPR DI X Y222021/2/224.1.3 信息率失真函数信息率失真函数R(D)信息率失真函数信息率失真函数R(D)对于离散无记忆信道，11(|)()min()(|)log()ijDnmjiijiPPijjp baR Dp a p bap b(),1,2,(|),1,2,;1,2,(),1,2,ijijp ainp b
12、ain jmp bjm是信源符号的概率分布是转移概率分布是接收端收到符号的概率分布232021/2/224.1.3 信息率失真函数信息率失真函数R(D)信息率失真函数信息率失真函数R(D)的理解的理解1)在信源给定后，我们希望在满足一定失真的情况下，使信源必须传输给收信者的信息传输率R尽可能地小；2)若从接收端来着，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。即在满足保真度准则的条件下寻找平均互信息I(X,Y)的最小值。242021/2/224.1.3 信息率失真函数信息率失真函数R(D)信息率失真函数与平均互信息、信道容量的比较信息率失真函数与平均互信息、信道容量的比
13、较平均互信息平均互信息I(X;Y)：信源的概率分布p(xi)的型函数；信道转移概率p(yj|xi)的型函数。252021/2/224.1.3 信息率失真函数信息率失真函数R(D)信息率失真函数与平均互信息、信道容量的比较信息率失真函数与平均互信息、信道容量的比较信道容量信道容量C：1）假定信道固定的前提下，选择一种试验信源使信息传输率最大。2）它所反映的是信道传输信息的能力，是信道可靠传送的最大信息传输率。3）一旦找到了信道容量，它就与信源不再有关，而是信道特性的参量，随信道特性的变化而变化。4）不同的信道其信道容量不同。()max(;)ip xCI X Y262021/2/224.1.3 信
14、息率失真函数信息率失真函数R(D)信息率失真函数与平均互信息、信道容量的比较信息率失真函数与平均互信息、信道容量的比较信息率失真函数信息率失真函数R(D)：1）假定信源给定的情况下，用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。2）它反映的是信源可以压缩的程度，是在满足一定失真度要求下信源可压缩的最低值。3）率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。4）不同的信源其R(D)不同。()min(;)DPR DI X Y272021/2/224.1.3 信息率失真函数信息率失真函数R(D)信息率失真函数与平均互信息、信道容量的比较信息率失真函数
15、与平均互信息、信道容量的比较研究信道容量：研究信道容量：充分利用已给信道，使传输的信息量最大，而发生错误错误的概率任意小的概率任意小。研究信息率失真函数：研究信息率失真函数：解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性提高通信的有效性。282021/2/224.1.3 信息率失真函数信息率失真函数R(D)信息率失真函数举例信息率失真函数举例例：设信源的符号表为A=al,a2,a2n，概率分布为p(ai)=1/2n,i=1,2,2n，失真函数规定为即不发生差错时失真为0，出错失真为1。研究在一定编码条
16、件下信息压缩的程度。1(,)0ijijd a aij292021/2/224.1.3 信息率失真函数信息率失真函数R(D)信息率失真函数举例信息率失真函数举例由信源概率分布可求出信源熵为：如果对信源进行不失真编码，平均每个符号至少需要log2n个二进制码元。111(,)log2222Hnnnn302021/2/224.1.3 信息率失真函数信息率失真函数R(D)信息率失真函数举例信息率失真函数举例现在假定允许有一定失真，假设失真限度为D=1/2。设想采用下面的编码方案：用信道模型图表示为：1122122,nnnnnnnnaa aaaaaa aaaa1a1a2a2a1nana.2na312021
17、/2/224.1.3 信息率失真函数信息率失真函数R(D)信息率失真函数举例信息率失真函数举例按照上述关于失真函数的规定，平均失真为：由该信道模型图可以看出，它是一个确定信道，固有：信道输出概率分布为：1()(|)(,)2ijiijijDp a p aa d a a1(|)0(;)()(|)()ijpH Y XI X YH YH Y XH Y或0，121121/(2)(1)/(2)nnnnpppnpppnn12DD322021/2/224.1.3 信息率失真函数信息率失真函数R(D)信息率失真函数举例信息率失真函数举例输出熵H(Y)为由以上结果可知，经压缩编码以后，信源需要传输的信息率由原来的
18、log2n压缩到log2n-(n+1)/2n)log(n+1)。也就是说，信息率压缩了log2n-(n+1)/2n)log(n+1)。这是采用了上述压缩编码方法的结果，所付出的代价是容忍了1/2的平均失真。111 11()(,)log2log(1)22222nnH YHnnnnnnn1n 个压缩332021/2/224.1.3 信息率失真函数信息率失真函数R(D)信息率失真函数举例信息率失真函数举例如果选取对压缩更为有利的编码方案，则压缩的效果可能更好。但一旦达到最小互信息这个极限值，就是R(D)的数值（此处D=1/2），或超过这个极限值，那么失真就要超过失真限度。如果需要压缩的信息率更大，则
19、可容忍的平均失真就要更大。342021/2/224.1.4 信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域率失真的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大取值问题。352021/2/224.1.4 信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域(1)Dmin和R(Dmin)由于平均失真度是非负实数d(xi,yj)的数学期望，因此也是非负的实数，所以：Dmin=0此时对应于无失真情况，相当于无噪声信道，此时信道传输的信息量等于信源熵，即：注：注：只有当失真矩阵的每一行至少有一个0元素时，信源的平均失真度才能达
20、到下限值0。min()(0)()R DRH X362021/2/224.1.4 信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域(2)Dmax和R(Dmax)由于I(X;Y)是非负函数，而R(D)是在约束条件下的I(X;Y)的最小值，所以R(D)也是一个非负函数，它的下限值是0。当R(D)为0，意味着不需要传输任何信息。显然，D越大，直至无限大都能满足这样的情况，这里选择所有满足R(D)0中D的最小值，定义为R(D)定义域的上限Dmax，即max()0minR DDD372021/2/224.1.4 信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义
21、域(2)Dmax和R(Dmax)因此可以得到R(D)的定义域为：max0,DD382021/2/224.1.4 信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域(3)Dmax的计算因为R(D)=0，也就是I(X;Y)=0，这时试验信道输入与输出是互相独立的，所以此时平均失真为：(|)()ijjijjpp yxp yp1111nmnmiijijijijijijDp p dp p d(,)ijijdd a b式中。392021/2/224.1.4 信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域(3)Dmax的计算11mjjpD现在要求出满足条件的
22、中的最小值，即：max11minmnjiijjiDpp d 11,10niijijjjmp djjpp由上式观察可得：在中，可找到值最小的，当该 对应的，而其余 为 时，上式右边达到最小，这时上式可简化为：max1,2,1minniijjmiDpd402021/2/224.1.4 信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域(4)举例例：设输入输出符号表为XY 0,1，输入概率分布p(x)=1/3,2/3，失真矩阵为试分析R(Dmin)、Dmax。11122122(,)(,)01(,)(,)10d a bd a bd a bd a bd412021/2/224.1.
23、4 信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域(4)举例解：当Dmin0时，R(Dmin)H(X)H(1/3,2/3)0.91比特/符号，这时信源编码器无失真，所以该编码器的转移概率为1001P422021/2/224.1.4 信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域(4)举例当R(Dmax)0时此时输出符号概率p(b1)0,p(b2)1,a1b2,a2b2，所以这时的编码器的转移概率为 2max1112211122221,21,211,21,2minmin,12122 11min01,10min,33333 33iijjjijjD
24、p dp dp dp dp d 0101P432021/2/224.1.4 信息率失真函数的性质信息率失真函数的性质R(D)函数的下凸性和连续性函数的下凸性和连续性1)R(D)是非负的实数，R(D)0 其定义域为0Dmax,其值为0H(X)当DDmax时,R(D)02)R(D)是关于D的下凸函数 R(D)在定义域内是失真度D的下凸连续函数3)R(D)的单调递减性及连续性 容许的失真度越大，所要求的信息率越小。反之亦然。442021/2/224.1.4 信息率失真函数的性质信息率失真函数的性质R(D)函数的下凸性和连续性函数的下凸性和连续性信息率失真曲线R(D)H(X)R(D)0 D Dmax
25、D452021/2/224.2 离散信源的离散信源的R(D)计算计算离散信源的离散信源的R(D)的计算的计算给定信源概率pi和失真函数dij，就可以求得该信源的R(D)函数。它是在保真度准则下求极小值的问题。但要得到它的显式表达式，一般比较困难，通常用参量表达式。即使如此，除简单的情况外实际计算还是困难的，只能用迭代逐级逼近的方法。462021/2/224.2 离散信源的离散信源的R(D)计算计算离散信源的离散信源的R(D)的计算的计算某些特殊情况下R(D)的表达式为：(,)(,)(0)(1)1d x yx yp xpp xp 当，时，()()()R DH pH D472021/2/224.2
26、 离散信源的离散信源的R(D)计算计算二元对称信源的二元对称信源的R(D)函数函数设二元对称信源X=0,1,其概率分布p(x=0)=p,p(x=1)=1-p，接收变量Y=0,1,失真矩阵为：其信息率失真函数为：(0,0)(0,1)01(1,0)(1,1)10ddddd1()(),0()20,H pH DDpR DDp482021/2/224.2 离散信源的离散信源的R(D)计算计算二元对称信源的二元对称信源的R(D)函数函数 0.1 0.2 0.3 0.4 0.5 D1.00.80.60.40.20.0R(D)/bitp=0.5p=0.3p=0.2p=0.1492021/2/22502021/2/22
