1、第四章 信息率失真函数2022-12-1,14.1 平均失真和信息率失真函数平均失真和信息率失真函数 4.2 离散信源和连续信源的离散信源和连续信源的R(D)计算计算信息率失真函数信息率失真函数第四章 信息率失真函数2022-12-1,24.1.1 失真函数失真函数 4.1.2 平均失真平均失真4.1.3 信息率失真函数信息率失真函数R(D)4.1.4 信息率失真函数的性质信息率失真函数的性质4.1 平均失真和信息率失真函数平均失真和信息率失真函数第四章 信息率失真函数2022-12-1,3“消息完全无失真传送消息完全无失真传送”的可实现性的可实现性信道编码定理信道编码定理：无论何种信道，只要
2、信息率：无论何种信道，只要信息率R小于小于信道容量信道容量C，总能找到一种编码，使在信道上能以任总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于意小的错误概率和任意接近于C的传输率来传送信息。的传输率来传送信息。反之，若反之，若R C，则传输总要失真。则传输总要失真。4.1.1 失真函数失真函数完全无失真传送不可实现完全无失真传送不可实现：实际的信源常常是连续的，信息量无限大，若要无失实际的信源常常是连续的，信息量无限大，若要无失真传送真传送,要求信息率要求信息率R为无穷大；为无穷大；实际信道带宽是有限的，所以信道容量受限制。要想实际信道带宽是有限的，所以信道容量受限制。要想无失真
3、传输，所需传输的信息率一般都大大超过信道无失真传输，所需传输的信息率一般都大大超过信道容量即容量即R C。第四章 信息率失真函数2022-12-1,4 4.1.1 失真函数失真函数实际中允许一定程度的失真实际中允许一定程度的失真实际生活中，人们一般并不要求获得完全无失真的消实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的息，通常只要求近似地再现原始消息，即允许一定的失真存在。失真存在。例如打电话：即使语音信号有一些失真，接电话的人例如打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。也能听懂。人耳接收信号的带宽和
4、分辨率是有限的。放电影：理论上需要无穷多幅静态画面，由于人眼的放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性视觉暂留性”，实际上只要每秒放映，实际上只要每秒放映24幅静态画面。幅静态画面。随着科学技术的发展，数字系统应用得越来越广泛，随着科学技术的发展，数字系统应用得越来越广泛，这就需要传送、存储和处理大量的数据。为了提高传这就需要传送、存储和处理大量的数据。为了提高传输和处理效率，往往需要对数据压缩，这样也会带来输和处理效率，往往需要对数据压缩，这样也会带来一定的信息损失。一定的信息损失。第四章 信息率失真函数2022-12-1,5 4.1.1 失真函数失真函数问题：问题：在允许
5、一定程度的失真条件下，信在允许一定程度的失真条件下，信源信息能够压缩到何种程度？至少需要多源信息能够压缩到何种程度？至少需要多少比特的信息率才能描述信源？少比特的信息率才能描述信源？香农信息率失真理论指出：香农信息率失真理论指出：在允许一定失真度在允许一定失真度D的情况下，信源的情况下，信源输出的信息率可压缩到输出的信息率可压缩到R(D)。R(D)是定义的信息率失真函数。是定义的信息率失真函数。为了描述失真度为了描述失真度D，我们先来引入失真函数。我们先来引入失真函数。第四章 信息率失真函数2022-12-1,6 4.1.1 失真函数失真函数定义失真函数：定义失真函数：信源编码器(/)jip
6、yx输入XXa1,a2,ai,an输出YYb1,b2,bj,bm0,(,),0,ijijijxyd x yxy称称d(xi,yj)为为单个符号的单个符号的失真函数。表示信源发出一个失真函数。表示信源发出一个符号符号xi，在接收端再现在接收端再现yj所引起的误差或失真。所引起的误差或失真。第四章 信息率失真函数2022-12-1,7 4.1.1 失真函数失真函数失真矩阵失真矩阵失真度还可表示成矩阵的形式失真度还可表示成矩阵的形式称称d 为失真矩阵。它是为失真矩阵。它是nm阶矩阵阶矩阵。例：例：41111212122212(,)(,)(,)(,)(,)(,)(,)(,)(,)mmnnnmd x y
7、d x yd x yd xyd xyd xyd xyd xyd xyd第四章 信息率失真函数2022-12-1,8 4.1.1 失真函数失真函数信源符号信源符号X取自取自0，1,编码器输出符号取自编码器输出符号取自0,1,2,规定失真函数为：规定失真函数为：d(0,0)=d(1,1)=0 d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5,则失真矩阵为：则失真矩阵为：01 0.510 0.5dl 失真函数是根据人们的实际需要和失真引起的损失、失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素风险、主观感觉上的差别大小等因素人为规定的人为规定的。第四章
8、 信息率失真函数2022-12-1,9 4.1.1 失真函数失真函数2)/11ijijijijijijiijijijij几种常用的失真函数：（1）均方失真 d(x,y)=(x-y（2）绝对失真 d(x,y)=x-y（3）相对失真 d(x,y)=x-yx0，xy（4）误码失真 d(x,y)=(x,y)=，其他0，i=j（5）d(x,y)=，汉明失真其他第四章 信息率失真函数2022-12-1,10 4.1.2 平均失真平均失真平均失真定义平均失真定义d(xi,yj)只能表示两个特定的具体符号只能表示两个特定的具体符号 xi和和 yj之间之间的失真。的失真。平均失真平均失真：平均失真为失真函数的数
9、学期望，：平均失真为失真函数的数学期望，11(,)()(,)()(/)(,)ijijnmijiijijd x yXYP XYDE d x yDp xp yx d x y 即，在 和 的联合概率空间中的统计平均值由数学期望的定义第四章 信息率失真函数2022-12-1,11 4.1.2 平均失真平均失真平均失真的意义平均失真的意义 是在平均意义上，从总体上对整个系统失真情况的描述。它是在平均意义上，从总体上对整个系统失真情况的描述。它 是是信源统计特性信源统计特性p(xi)、信道统计特性信道统计特性p(yj/xi)和失真度和失真度d(xi,yj)的函数的函数。当当p(xi)，p(yj/xi)和和
10、d(xi,yj)给定后，平均失真度就不是一个随机变给定后，平均失真度就不是一个随机变量了，而是一个确定的量。量了，而是一个确定的量。如果信源和失真度一定，如果信源和失真度一定，就只是信道统计特性的函数。信道就只是信道统计特性的函数。信道传递概率不同，平均失真度传递概率不同，平均失真度 随之改变。随之改变。DDDD 保真度准则保真度准则人们所允许的失真指的都是平均意义上的失真。人们所允许的失真指的都是平均意义上的失真。保真度准则保真度准则：规定平均失真度：规定平均失真度 不能超过某一限定的不能超过某一限定的值值D，即即 ，则，则D就是允许失真的上界。该式称为保真就是允许失真的上界。该式称为保真度
11、准则。度准则。D第四章 信息率失真函数2022-12-1,12 4.1.2 平均失真平均失真,11(,)(,)11(,)llx yLLLijlllDpx y d x y dxdyLDE d xyDLL 对于连续随机变量，定义平均失真为：长序列编码下，平均失真定义为：第四章 信息率失真函数2022-12-1,13 4.1.3 信息率失真函数信息率失真函数R(D)信源编码器信源编码器(/)jip yx输入XXx1,x2,xi,xn输出YYy1,y2,yj,ym假想信道假想信道图图42 将信源编码器看作信道将信源编码器看作信道这样就可以用分析信道传输的方法来研究限失真信源编码问题。这样就可以用分析信
12、道传输的方法来研究限失真信源编码问题。第四章 信息率失真函数2022-12-1,14 4.1.3 信息率失真函数信息率失真函数R(D)对于信息容量为对于信息容量为C的信道传输信息传输率为的信道传输信息传输率为R的信源时，如果的信源时，如果RC,就必须对信源压缩，使其压缩后信息传输率小于就必须对信源压缩，使其压缩后信息传输率小于C，但同时但同时要保证压缩所引入的失真不超过预先规定的限度要保证压缩所引入的失真不超过预先规定的限度D，所以信息压所以信息压缩问题就是对于给定的信源，在满足保真度准则缩问题就是对于给定的信源，在满足保真度准则 下，使其下，使其R值尽可能小。值尽可能小。R 值就是所需要输出
13、的有关信源值就是所需要输出的有关信源X的信息量，对应到信道，即为的信息量，对应到信道，即为接收端接收端Y需要获得的有关需要获得的有关X的信息量，亦是互信息的信息量，亦是互信息I（X；Y）。）。这样就将这样就将选择信源编码方法的问题选择信源编码方法的问题转化为转化为选择假想信道的问题选择假想信道的问题，符号转移概率符号转移概率p(yj/xi)对应信道转移概率。对应信道转移概率。DD第四章 信息率失真函数2022-12-1,15 4.1.3 信息率失真函数信息率失真函数R(D)试验信道试验信道 平均失真平均失真 是信源统计特性是信源统计特性p(xi)、信道统计特性信道统计特性 p(yj/xi)和失
14、真度和失真度d(xi,yj)的函数的函数。当。当p(xi)和和d(xi,yj)给定后，则可以给定后，则可以求出满足保真度准则求出满足保真度准则 下的所有转移概率分布下的所有转移概率分布 pij，构构成一个信道集合成一个信道集合PD，那么那么PD 称为称为D允许试验信道。允许试验信道。DDDmjniDDxypPijD,2,1,2,1:)/(D第四章 信息率失真函数2022-12-1,16 4.1.3 信息率失真函数信息率失真函数R(D)信息率失真函数信息率失真函数在信源和失真度给定以后，在信源和失真度给定以后，PD是满足保真度准则是满足保真度准则 的试验信道集合，平均互信息的试验信道集合，平均互
15、信息I(X;Y)是信道传递概率是信道传递概率p(yj/xi)的下凸函数，所以在的下凸函数，所以在PD中一定可以找到某个试验中一定可以找到某个试验信道，使信道，使I(X;Y)达到最小，即达到最小，即 这个最小值这个最小值R(D)称为信息率失真函数称为信息率失真函数，简称，简称率失真函数率失真函数。对无记忆离散信源，有：对无记忆离散信源，有：DD);(min)()/(YXIDRDijPxyp11(/)()min()(/)log()ijDmnjiijipPjijp yxR Dp x p yxp y第四章 信息率失真函数2022-12-1,17 4.1.3 信息率失真函数信息率失真函数R(D)应当注意
16、：应当注意：在研究R(D)时，我们引用的条件概率 并没有实际信道的含义，只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反应的仅是不同的有失真信源编码，或称信源压缩。(/)p y x第四章 信息率失真函数2022-12-1,18 4.1.3 信息率失真函数信息率失真函数R(D)例题例题42：12211H(,.,)log2(/2n2nD,.,nnnn bitaaa122n1122nnnnn设信源符号为A=a,a,.,a,各符号等概分布，失真函数定义为汉明失真，试研究在一定编码条件下的信息压缩程度。解：信源熵为 符号）若允许一定失真，失真限度为 1/2,即 DD,采用下面编
17、码方法：aa,aa,.,aaaaa 对应等效试验信道为下图所示：第四章 信息率失真函数2022-12-1,19 4.1.3 信息率失真函数信息率失真函数R(D)I12,.,)log2log(1)nnnny2ij1nin2n-12n2nninini=ii=nni=n是一个归并信道，p=1或者0，H(Y/X)=0,(X;Y)=H(Y)-H(Y/X)=H(Y)输出概率分布为：p=p=.=p=1/(2n),p=p(a a)p(a)p(a/a)输出熵H(Y)为:111+nn+1H(Y)=H(2n2n2n2np(x)1a2a1a2ananan+1a2nalog(1)nn+1信息压缩了，付出的代价：允许1/
18、2的失真2n第四章 信息率失真函数2022-12-1,201.R(D)的定义域(D的取值范围)（1）因为因为D是非负函数是非负函数d(x,y)的数学期望，因此的数学期望，因此D也是非负函数，其下界为也是非负函数，其下界为0。此时，意味着不允。此时，意味着不允许失真，所以信道的信息率等于信源的熵，即许失真，所以信道的信息率等于信源的熵，即4.1.4 信息率失真函数的性质信息率失真函数的性质()(0)()R DRH XmaxDmaxD（2）平均失真D也有一上界值 。根据R(D)的定义，R(D)是在一定的约束条件下，平均互信息量I(X;Y)的最小值，其下界为0。R(D)和D的关系曲线一般如下图所示。
19、当D大到一定程度，R(D)就达到其下界0，我们定义这时的D为 。第四章 信息率失真函数2022-12-1,21 4.1.3 信息率失真函数信息率失真函数R(D)的计算：设当平均失真 时，R(D)达到其下界0。当允许更大失真时，即 时，R(D)仍只能继续是0。因为当X和Y统计独立时，平均互信息I(X;Y)=0，可见当 时，信源X和接收符号Y已经统计独立了，因此 与 xi 无关。maxDmaxDmaxDDmaxDD(/)()jijjp yxp yp第四章 信息率失真函数2022-12-1,22 4.1.3 信息率失真函数信息率失真函数R(D)因此，因此，就是在就是在R(D)=0的条件下，看在什么的
20、条件下，看在什么分布下，能够得到的平均失真分布下，能够得到的平均失真D的最小值，即的最小值，即maxDmax()11()11()()111min()()(,)minminmi)njjjjnmijijp yijnminiji jp yijmmjp yp yji jijjp dDp x p y d x ypp ddpyp 11()(/)(,)nmijiijijDp xp yx d x y 第四章 信息率失真函数2022-12-1,23 4.1.3 信息率失真函数信息率失真函数R(D)也就是说要求d(y)的数学期望最小值。这个最小值是一定存在的。比如 这样分布：当某一个 使得 d(yj)为最小时，就
21、取 ，而其余的 ，此时求得的d(y)的数学期望一定是最小的。此时，有()jp y()jp y()1jp y()0,ip yijmax()1,2,.,1()minminjnijp yjm iid ypDd例题例题43：设输入输出符号表为X=Y=0,1，输入概率分布为 ，失真矩阵为()1/3,2/3p x 第四章 信息率失真函数2022-12-1,24 4.1.3 信息率失真函数信息率失真函数R(D)求 ，。解：11122122(,)(,)01(,)(,)10d x yd x yd xyd xydminDmaxDminmin0)()(1/3,2/3)PDDH XH1122时，R(此时信源无失真编码
22、，10 xy,xy,编码器的转移概率 01第四章 信息率失真函数2022-12-1,25 4.1.3 信息率失真函数信息率失真函数R(D)max()1,2,.,121,211,21,212min()(,)1212min01,1033331 21min,3 33()0,()1,P()minminjnijp yjm iiijjiijjDdp x d x yp yd ypp y 1222此时输出符号概率01xy,xy,编码器的转移概率 01第四章 信息率失真函数2022-12-1,26 4.1.3 信息率失真函数信息率失真函数R(D)例题例题44 输入输出符号表同上题，失真矩阵为 求 ，。解：111
23、221221(,)(,)12(,)(,)21d x yd x yd xyd xydminDmaxD2max1,21,211,211212min()(,)min2,11323333min,112iijjjijDp x d x y min,P,1 11()(/)(,)*+*1=3 2356ijiiji jDp x p yx d x y112210 xy,xy,编码器的转移概率 此时01第四章 信息率失真函数2022-12-1,274.1.4 信息率失真函数的性质信息率失真函数的性质结结 论论R(D)的定义域为的定义域为 (Dmin,Dmax)；一般情况下一般情况下Dmin=0，R(Dmin)=H(
24、X)；当当DDmax时，时，R(D)=0；当当DminDDmax时，时，0R(D)H(X)。第四章 信息率失真函数2022-12-1,282.R(D)的下凸性和连续性的下凸性和连续性（1）率失真函数对允许平均失真度的下凸性）率失真函数对允许平均失真度的下凸性对任一对任一01和任意平均失真度和任意平均失真度D，DDmax，有有 R D+(1 )D R(D)+(1 )R(D)4.1.4 信息率失真函数的性质信息率失真函数的性质（2）率失真函数的连续型率失真函数的连续型由于函数由于函数R(D)具有凸状性，保证了它在定义域内是具有凸状性，保证了它在定义域内是连续的。连续的。第四章 信息率失真函数202
25、2-12-1,293.R(D)的单调递减性的单调递减性4.在在DminDDmax范围内范围内R(D)单调递减单调递减。允许的失真越大，所要求的信息率就可以越小。根允许的失真越大，所要求的信息率就可以越小。根据据R(D)的定义，他是在平均失真度小于或等于允许失真的定义，他是在平均失真度小于或等于允许失真度度D的所有试验信道集合的所有试验信道集合PD中，取中，取I(X;Y)的最小值。的最小值。当允许失真当允许失真D扩大，则扩大，则 PD 的集合也扩大，当然仍然的集合也扩大，当然仍然包含原来满足条件的所有信道。这是在扩大了的包含原来满足条件的所有信道。这是在扩大了的PD集合集合中找中找I(X;Y)的
26、最小值，显然或者是最小值不变，或者是的最小值，显然或者是最小值不变，或者是变小了，所以变小了，所以R(D)是非增的。是非增的。4.1.4 信息率失真函数的性质信息率失真函数的性质第四章 信息率失真函数2022-12-1,304.1.4 信息率失真函数的性质信息率失真函数的性质图说明：图说明：R(0)=H(X)=H(P)，R(Dmax)=0，决定了曲线边缘上的两个点；决定了曲线边缘上的两个点；在在0和和Dmax之间，之间，R(D)是单是单 调递减的下凸函数；调递减的下凸函数；在连续信源时，当在连续信源时，当D0时，时，R(D)，曲线将不与曲线将不与 R(D)轴相交。轴相交。第四章 信息率失真函数
27、2022-12-1,31 给定信源概率给定信源概率p(xi)和失真函数和失真函数d(x,y)，就就 可以求出该信源的可以求出该信源的R(D)函数。它是在约束函数。它是在约束 条件下，即保真度准则下条件下，即保真度准则下，求极小值的问求极小值的问题。题。求解的一般方法有变分法、拉氏乘子法、求解的一般方法有变分法、拉氏乘子法、凸规划方法等等。凸规划方法等等。几种特殊情况下的几种特殊情况下的R(D)R(D)4.2 离散信源和连续信源的离散信源和连续信源的R(D)计算计算第四章 信息率失真函数2022-12-1,324.2 离散信源和连续信源的离散信源和连续信源的R(D)计算计算222211.(,)(
28、),()22.(,)(),21()log3.(,),),(0),(1)1()()()xxd x yxyp xeDd x yxyp xeR DDd x yx yp xp p xpR DH pH D 当时，R(D)=log当，时当（时，。第四章 信息率失真函数2022-12-1,334.2 离散信源和连续信源的离散信源和连续信源的R(D)计算计算00.20.40.60.1DR(D)(b/符号)0.20.40.60.81.017.06.045.08.067.00.1814121KKK限失真，D0.1时，压缩比1）信源概率分布越不均匀，）信源概率分布越不均匀，压缩比越大；压缩比越大；2)D越大，压缩比
29、也越大。越大，压缩比也越大。第四章 信息率失真函数2022-12-1,344.2 离散信源和连续信源的离散信源和连续信源的R(D)计算计算21122()log2()logDH XeDR D正态，上限定理：定理：对任一连续非正态信源，若已知其方差为对任一连续非正态信源，若已知其方差为 ，熵为熵为 ，并规定失真函数为，并规定失真函数为 ，则其，则其R(D)满足下列不等式：满足下列不等式：2()cHX2(,)()d x yxy可见，在平均功率可见，在平均功率2受限条件下，正态分布受限条件下，正态分布R(D)函数函数值最大，它是其他一切分布的上限值，也是信源压缩值最大，它是其他一切分布的上限值，也是信
30、源压缩比中最小的。所以人们往往将它作为连续信源压缩比比中最小的。所以人们往往将它作为连续信源压缩比中最保守的估计值。中最保守的估计值。第四章 信息率失真函数2022-12-1,354.2 离散信源和连续信源的离散信源和连续信源的R(D)计算计算分析分析PCM编码及其压缩潜力编码及其压缩潜力:现有现有PCM编码是编码是8KHz采样率，采样率，8位编码，位编码，8*8=64Kb/s，它认为它认为样点间独立样点间独立，且每个样点，且每个样点8bit，这时信噪比可达到入公用网这时信噪比可达到入公用网26dB的要求，的要求，在语音编码中信噪比是在语音编码中信噪比是 ,其中其中D为噪声（允许失真）功率，由
31、正态分布的为噪声（允许失真）功率，由正态分布的信息率失真函数的公式：信息率失真函数的公式：实际语音的实际语音的R(D)值要小于值要小于4.3bit，因为语音因为语音不遵从正态分布。考虑样点间相关性。不遵从正态分布。考虑样点间相关性。22SNR26400()DDdB倍2122122()loglog 4004.3DR Dbit第四章 信息率失真函数2022-12-1,364.2 离散信源和连续信源的离散信源和连续信源的R(D)计算计算作业：作业：p75 4.1第四章 信息率失真函数2022-12-1,37本章总结本章总结问题：问题：在允许一定程度的失真条件下，信在允许一定程度的失真条件下，信源信息
32、能够压缩到何种程度？至少需要多源信息能够压缩到何种程度？至少需要多少比特的信息率才能描述信源？少比特的信息率才能描述信源？香农信息率失真理论指出：香农信息率失真理论指出：在允许一定失真度在允许一定失真度D的情况下，信源的情况下，信源输出的信息率可压缩到输出的信息率可压缩到R(D)。第四章 信息率失真函数2022-12-1,38本章总结本章总结定义失真函数：定义失真函数：0,(,),0,ijijijxyd x yxy第四章 信息率失真函数2022-12-1,39本章总结本章总结失真矩阵失真矩阵失真度还可表示成矩阵的形式失真度还可表示成矩阵的形式称称d 为失真矩阵。它是为失真矩阵。它是nm阶矩阵阶
33、矩阵。111212122212(,)(,)(,)(,)(,)(,)(,)(,)(,)mmnnnmd x yd x yd x yd xyd xyd xyd xyd xyd xyd第四章 信息率失真函数2022-12-1,40本章总结本章总结2)/11ijijijijijijiijijijij几种常用的失真函数：（1）均方失真 d(x,y)=(x-y（2）绝对失真 d(x,y)=x-y（3）相对失真 d(x,y)=x-yx0，xy（4）误码失真 d(x,y)=(x,y)=，其他0，i=j（5）d(x,y)=，汉明失真其他第四章 信息率失真函数2022-12-1,41本章总结本章总结平均失真定义：平
34、均失真定义：平均失真为失真函数的数学期望，平均失真为失真函数的数学期望，11(/,)()()inmiijijjp xd x yyDpx第四章 信息率失真函数2022-12-1,42 保真度准则保真度准则人们所允许的失真指的都是平均意义上的失真。人们所允许的失真指的都是平均意义上的失真。规定平均失真度规定平均失真度 不能超过某一限定的值不能超过某一限定的值D，即即 ，则，则D就是允许失真的上界。该式称就是允许失真的上界。该式称为保真度准则。为保真度准则。DDD本章总结本章总结第四章 信息率失真函数2022-12-1,43信源编码器信源编码器(/)jip yx输入XXx1,x2,xi,xn输出YY
35、y1,y2,yj,ym假想信道假想信道图图42 将信源编码器看作信道将信源编码器看作信道这样就可以用分析信道传输的方法来研究限失真信源编码问题。这样就可以用分析信道传输的方法来研究限失真信源编码问题。本章总结本章总结第四章 信息率失真函数2022-12-1,44 试验信道试验信道 平均失真平均失真 是信源统计特性是信源统计特性p(xi)、信道统计特性信道统计特性p(yj/xi)和失真度和失真度d(xi,yj)的函数的函数。当。当p(xi)和和d(xi,yj)给定后，则可以给定后，则可以求出满足保真度准则求出满足保真度准则 下的所有转移概率分布下的所有转移概率分布 pij，构构成一个信道集合成一
36、个信道集合PD，那么那么PD 称为称为D允许试验信道。允许试验信道。DDDmjniDDxypPijD,2,1,2,1:)/(本章总结本章总结第四章 信息率失真函数2022-12-1,45结结 论论R(D)的定义域为的定义域为 (Dmin,Dmax)；一般情况下一般情况下Dmin=0，R(Dmin)=H(X)；当当DDmax时，时，R(D)=0；当当DminDDmax时，时，0R(D)H(X)。本章总结本章总结第四章 信息率失真函数2022-12-1,46 R(D)的下凸性和连续性的下凸性和连续性（1）率失真函数对允许平均失真度的下凸性）率失真函数对允许平均失真度的下凸性对任一对任一01和任意平
37、均失真度和任意平均失真度D，DDmax，有有 R D+(1 )D R(D)+(1 )R(D)（2）率失真函数的连续型率失真函数的连续型由于函数由于函数R(D)具有凸状性，保证了它在定义域内是具有凸状性，保证了它在定义域内是连续的。连续的。R(D)的单调递减性的单调递减性 在在DminDDmax范围内范围内R(D)单调递减单调递减。本章总结本章总结第四章 信息率失真函数2022-12-1,47本章总结本章总结第四章 信息率失真函数2022-12-1,48 习习 题题 4.2 解解:minmin0)()(1/2,1/2)1/PDDH XHbit s1122时，R(此时信源无失真编码，10 xy,x
38、y,编码器的转移概率 01第四章 信息率失真函数2022-12-1,49 习习 题题2max1,211122221,21,21111221111121,22min()(,)min,()()11min,11122()()11022202()0(/2min1,()1,.)(/)().0;iijjijjjDp x d x yp x dp xdpp x dp xdp ypyyxp yxp yso 1222此时输出符号概率xy,xy,编码器的转移概率maxP()0R D1001。第四章 信息率失真函数2022-12-1,50()(1)()(1)f pf qfpqapqb(1)pqxf(x)f(x)下凸函数性质下凸函数性质
