1、 无失真信源编码和有噪信道编码（香农第一定理和香无失真信源编码和有噪信道编码（香农第一定理和香农第二定理）告诉我们：农第二定理）告诉我们：只要信道的信息传输速率小于信道容量，总能找到一只要信道的信息传输速率小于信道容量，总能找到一种编码方法，使得在该信道上的信息传输的差错概率任意种编码方法，使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。能使信息传输差错概率任意小。但是，无失真的编码但是，无失真的编码并非并非总是必要的总是必要的。原始图像原始图像红色图像红色图像绿色图像绿色图像
2、蓝色图像蓝色图像香农首先定义了信息率失真函数香农首先定义了信息率失真函数R(D)，并论述了关于这个，并论述了关于这个函数的基本定理。函数的基本定理。定理指出：在允许一定失真度定理指出：在允许一定失真度D的情况下，信源输出的信息的情况下，信源输出的信息传输率可压缩到传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。许失真之间的关系，奠定了信息率失真理论的基础。信息率失真理论是进行量化、数模转换、频带压缩和数据信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。压缩的理论基础。本章本章主要介绍主
3、要介绍信息率失真理论的基本内容，重点讨论离散信息率失真理论的基本内容，重点讨论离散无记忆信源。无记忆信源。l给出信源的失真度和信息率失真函数的定义与性质；给出信源的失真度和信息率失真函数的定义与性质；l讨论离散信源和连续信源的信息率失真函数计算；讨论离散信源和连续信源的信息率失真函数计算；l在此基础上论述保真度准则下的信源编码定理。在此基础上论述保真度准则下的信源编码定理。一、失真度一、失真度 从直观感觉可知，若允许失真越大，信息传输率就可越小；从直观感觉可知，若允许失真越大，信息传输率就可越小；若允许失真越小，信息传输率需越大。若允许失真越小，信息传输率需越大。所以信息传输率与（信源）编码所
4、引起的失真所以信息传输率与（信源）编码所引起的失真(或误差或误差)是是有关的。有关的。首先讨论首先讨论失真的测度失真的测度。离散无记忆信源离散无记忆信源X，信源符号集，信源符号集Xa1,a2,ar，概率分，概率分布为布为p(x)p(a1),p(a2),p(ar)。信源符号通过信道传输到接收端，接收端的接收符号集信源符号通过信道传输到接收端，接收端的接收符号集Y b1,b2,bs。对应于每一对对应于每一对(ai,bj)，我们指定一个非负的函数：，我们指定一个非负的函数：称为单个符号的称为单个符号的失真度失真度(或失真函数或失真函数)。通常较小的通常较小的d值代表较小的失真，而值代表较小的失真，而
5、d(ai,bj)0表示没有表示没有失真。失真。0(,)(0)ijijd a bij若信源变量若信源变量X有有r个符号，接收变量个符号，接收变量Y有有s个符号，则个符号，则d(ai,bj)就有就有rs个个,它可以排列成矩阵形式，即：它可以排列成矩阵形式，即：该失真矩阵该失真矩阵D，是，是 rs 阶矩阵。阶矩阵。111212122212(,)(,).(,)(,)(,).(,):.:(,)(,).(,)ssrrrsd a bd a bd a bd a bd a bd a bDd a bd a bd a b实际实际这里这里X X指的是原始的未失真信源，而指的是原始的未失真信源，而Y Y是指失真以后是指
6、失真以后的信源。如果的信源。如果假设假设X X是信源，是信源，Y Y是信宿，那么是信宿，那么X X和和Y Y之间必有信之间必有信道。道。从从X X到到Y Y之间实际上是失真算法，所以这里的转移概率之间实际上是失真算法，所以这里的转移概率p(b(bj j/ai i)是指一种失真算法，是指一种失真算法，有时又把有时又把 p(b(bj j/ai i)称为称为试验信道试验信道的转移概率，如图所的转移概率，如图所示。示。原始信源原始信源失真信源失真信源试验信道试验信道信道信道XYp(bj/ai)例例1 离散对称信源离散对称信源(r=s)，“0-1”失真失真。信源。信源Xa1,a2,ar，接收接收Y b1
7、,b2,bs。定义单个符号失真度：。定义单个符号失真度：这种失真称为汉明失真。汉明失真矩阵是一方阵，对角线上的这种失真称为汉明失真。汉明失真矩阵是一方阵，对角线上的元素为零，即：元素为零，即：0(,)1ijijijabd a babrrD0.11:.:1.011.10 对二元对称信源对二元对称信源(sr2)，信源，信源X0,1，接收，接收变量变量Y0,1。在汉明失真定义下，失真矩阵为：。在汉明失真定义下，失真矩阵为：0110D 例例2 删除信源删除信源。信源。信源Xa1,a2,ar，接收，接收Y b1,b2,bs(s=r+1)。定义其单个符号失真度为：。定义其单个符号失真度为：其中接收符号其中
8、接收符号bs作为一个删除符号。作为一个删除符号。此时，意味着若把信源符号再现为删除符号此时，意味着若把信源符号再现为删除符号bs时，其失真时，其失真程度要比再现为其他接收符号的失真程度少一半。程度要比再现为其他接收符号的失真程度少一半。二元删除信源二元删除信源 r 2，s 3，X0,1，Y0,1,2。失真度为：失真度为：则10121102D d(0,0)=d(1,1)=0 d(0,1)=d(1,0)=1d(0,2)=d(1,2)=1/20(,)1 1/2ijijd a bijjs除除j=s以外所有的以外所有的j和和i所有所有i 例例 对称信源对称信源(s=r)。信源。信源Xa1,a2,ar，接
9、收，接收Y b1,b2,bs。若若失真度定义为：失真度定义为：如果信源符号代表信源输出信号的幅度值，这就是一种如果信源符号代表信源输出信号的幅度值，这就是一种平平方误差失真度方误差失真度。它意味着幅度差值大的要比幅度差值小的所引。它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重，其严重的程度用平方来表示。起的失真更为严重，其严重的程度用平方来表示。当当 r3时，时，0,1,2，0,1,2，则失真矩阵为：，则失真矩阵为：2(,)()ijjid a bba014101410D上述例子说明了失真度的具体定义。上述例子说明了失真度的具体定义。一般情况下根据实际信源的失真，可以定义不同的失真和一
10、般情况下根据实际信源的失真，可以定义不同的失真和误差的度量。另外还可以按其他标准，如引起的损失、风险误差的度量。另外还可以按其他标准，如引起的损失、风险、主观感觉上的差别大小等来定义失真度、主观感觉上的差别大小等来定义失真度d(a,b)。二、序列失真度二、序列失真度设设 ，其中，其中12,Nxx xxix取自信源符号集取自信源符号集A；12,Nyy yy 其中其中iy取自取自信宿信宿符号集符号集B。则序列失真度定义为：则序列失真度定义为：11(,)(,)NNiiidx yd x yN 三、三、平均失真度平均失真度信源信源 X 和信宿和信宿 Y 都是随机变量，故单个符号失真度都是随机变量，故单个
11、符号失真度d(ai,bj)也也是随机变量。是随机变量。规定了单个符号失真度规定了单个符号失真度d(ai,bj)后，后，传输一个符号引起的平均传输一个符号引起的平均失真，即信源平均失真度失真，即信源平均失真度：在在离散情况下离散情况下，信源，信源Xa1,a2,ar，其概率分布，其概率分布p(x)p(a1),p(a2),p(ar)，信宿，信宿Y b1,b2,bs。若已知试验信道的传递概率为若已知试验信道的传递概率为p(bj/ai)时，则平均失其度为：时，则平均失其度为：(,)(,)ijDE d a bE d a b11()(,)()(/)(,)rsijiijXYijDp ab d a bp a p
12、 ba d a b 若平均失真度若平均失真度D不大于我们所允许的失真不大于我们所允许的失真D0，即：，即：D D0 称此为称此为保真度准则保真度准则。信源固定（即给定了信源固定（即给定了p(x)），单个符号失真度固定时（即），单个符号失真度固定时（即给定了给定了d(ai,bj)），选择不同试验信道，相当于不同的编码方，选择不同试验信道，相当于不同的编码方法，所得的平均失真度是不同的。法，所得的平均失真度是不同的。有些试验信道满足有些试验信道满足D D0，而有些试验信道，而有些试验信道DD0。凡满足保真度准则凡满足保真度准则-平均失真度平均失真度D D0的试验信通称为的试验信通称为-。把所有把所
13、有D失真许可的试验信道组成一个集合，用符号失真许可的试验信道组成一个集合，用符号PD表表示，则：示，则：PD=p(bj/ai)：D D04.2 4.2 信息率失真函数及其性质信息率失真函数及其性质一、信息率失真函数的定义一、信息率失真函数的定义 信源给定，且又具体定义了失真函数以后，总希望在满足信源给定，且又具体定义了失真函数以后，总希望在满足一定失真的情况下，使信源传输给收信者的信息传输率一定失真的情况下，使信源传输给收信者的信息传输率R尽可尽可能地小。能地小。-即在满足保真度准则下，寻找即在满足保真度准则下，寻找信源必须传输给信信源必须传输给信宿的信息率宿的信息率R的下限值的下限值-这个下
14、限值与这个下限值与D有关。有关。从接收端来看，就是在满足保真度准则下，寻找再现信源从接收端来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。消息所必须获得的最低平均信息量。而接收端获得的平均信息量可用平均互信息而接收端获得的平均信息量可用平均互信息I(X;Y)来表示来表示，这就变成了在满足保真度准则的条件下，这就变成了在满足保真度准则的条件下，寻找平均互信息寻找平均互信息I(X;Y)的最小值的最小值。寻找平均互信息寻找平均互信息I(X;Y)的最小值。而的最小值。而PD是所有满足保真度是所有满足保真度准则的试验信道集合，因而可以在准则的试验信道集合，因而可以在D失真许可的
15、试验信道集合失真许可的试验信道集合PD中寻找一个信道中寻找一个信道p(bj/ai)，使，使I(X;Y)取极小值。取极小值。由于平均互信息由于平均互信息I(X;Y)是是p(bj/ai)的的U型凸函数型凸函数，所以在，所以在PD集合中，极小值存在。这个最小值就是在集合中，极小值存在。这个最小值就是在D D0的条件下，的条件下，信信源进行传输的最小平均信息量源进行传输的最小平均信息量。即：。即：(/)()(;)minjiDp baPR DI X YR(D)-信息率失真函数或简称信息率失真函数或简称率失真函数率失真函数 单位是：比特信源符号单位是：比特信源符号 率失真函数给出了熵压缩编码可能达到的最小
16、熵率与失真的率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系关系;其逆函数其逆函数D(R)称为失真率函数称为失真率函数,D(R)表示一定信息速率下所表示一定信息速率下所可能达到的最小的平均失真。可能达到的最小的平均失真。二、信息率失真函数的性质二、信息率失真函数的性质 允许失真度允许失真度D的下限可以是零，这是不允许任何失真的情况。的下限可以是零，这是不允许任何失真的情况。1、R(D)的定义域的定义域R(D)的定义域为的定义域为 且：且：minmax0DDDmin()min(,)yxDp xd x ymaxmin()(,)yxDp x d x y 123,a a aminDmaxD 1
17、23213321d123()min(1,2,3)()min(2,1,3)()min(3,2,1)p ap ap a min()min(,)yxDp xd x y(,)ijd a b(|)1jip baminD100(|)010001p y x max123123123min()(,)min()1()2()3,()2()1()2,()3()3()1yxDp x d x yp ap ap ap ap ap ap ap ap a 2()1p b13()()0p bp bmaxD010(|)010010p y x 2、R(D)是关于平均失真度是关于平均失真度D的下凸函数的下凸函数 设设 为任意两个平均
18、失真，为任意两个平均失真，则有：，则有：12,D D01a1212(1)()(1)()R aDa DaR Da R D3、R(D)是是 区间上的连续和严格单调递减函区间上的连续和严格单调递减函数。数。minmax(,)DD信息率失真函数的一般形状信息率失真函数的一般形状()已知信源的概率分布已知信源的概率分布p(x)和失真函数和失真函数d(x,y)，就可求得信源，就可求得信源的的R(D)函数。原则上它与信道容量一样，即在有约束条件下求函数。原则上它与信道容量一样，即在有约束条件下求极小值的问题。极小值的问题。也即选取适当的试验信道也即选取适当的试验信道p(x/y)使平均互信息最小化：使平均互信
19、息最小化：其约束条件为其约束条件为:(/)0jip ba1(/)1sjijp ba11()(/)(,)rsijiijijp ap ba d a bD111(/)(,)()(/)log()(/)rsjiijirijijiip baI X Yp a p bap a p ba一般取等号一般取等号一、一、等概率、对称失真信源的等概率、对称失真信源的R(D)计算计算 对于等概、对称失真的信源，存在一个与失真矩阵具有对于等概、对称失真的信源，存在一个与失真矩阵具有同样对称性的转移概率分布达到率失真同样对称性的转移概率分布达到率失真R(D)。解：解：0,1X 0,1,2Y 01 01dmin()min(,)
20、0yxDp xd x ymaxmin()(,)1yxDp x d x y由于信源等概分布，失真函数具有对称性，因此，存在着与由于信源等概分布，失真函数具有对称性，因此，存在着与失真矩阵失真矩阵具有同样对称性的转移概率分布具有同样对称性的转移概率分布达到率失真达到率失真R(D)，该转移概率矩阵可写为：该转移概率矩阵可写为：(),1p y x由于由于 ，因此对于任何有限平均失真，必，因此对于任何有限平均失真，必须须 ,于是转移概率矩阵为：于是转移概率矩阵为：(0,1)(1,0)dd 001()01p y xa对应此转移概率矩阵的平均失真：对应此转移概率矩阵的平均失真：因此因此:可求得此时的互信息为
21、：可求得此时的互信息为：,()()(,)1x yDp x p y x d x y 1D()(;)()(/)11(,(1,)22112loglog(1)log(1)log22R DI X YH YH Y XDDHDHD DDDDDDDDD）(1)(1)log(1)(1)log(1)(1)1DDDDDDD)(DR10D1D二、二、信息率失真函数的参量表述信息率失真函数的参量表述 求信源的求信源的R(D)函数，原则上与求信道容量一样，是在有约函数，原则上与求信道容量一样，是在有约束条件下求极小值的问题。束条件下求极小值的问题。也就是适当选取试验信道也就是适当选取试验信道p(y/x)使平均互信息最小化
22、，使平均互信息最小化，111(/)(,)()(/)log()(/)nmjiijirijijiip baI X Yp a p bap a p ba 应用拉格朗日乘子法，原则上可以求出解来。应用拉格朗日乘子法，原则上可以求出解来。困难在于：困难在于：要得到显式的解析表达式，则比较困难，通常只能用参量要得到显式的解析表达式，则比较困难，通常只能用参量形式来表达。形式来表达。要保证约束条件式要保证约束条件式p(bj/ai)0，应用拉格朗日乘子法解得的，应用拉格朗日乘子法解得的某些某些p(bj/ai)很可能是负的。在这情况下，必须假设其很可能是负的。在这情况下，必须假设其p(bj/ai)=0，然后重新计
23、算，这就使得计算复杂化了。，然后重新计算，这就使得计算复杂化了。下面介绍用拉格朗日乘子法求解下面介绍用拉格朗日乘子法求解R(D)函数，并用函数，并用s作为参作为参量来表述率失真函数量来表述率失真函数R(s)和失真函数和失真函数D(s)。由由(1)式知，当信源的概率分布式知，当信源的概率分布p(x)固定，平均互信息仅仅固定，平均互信息仅仅是试验信道是试验信道p(bj/ai)的函数。的函数。若若先不考虑先不考虑(2)式的约束式的约束，约束条件，约束条件(3)式包含式包含n个等式，个等式，取拉格朗日乘子取拉格朗日乘子 i i(i1,2,n)分别与之对应；并取拉氏乘分别与之对应；并取拉氏乘子子s与与(
24、4)式对应。由此构成辅助函数：式对应。由此构成辅助函数：1(;)(/)(5)mijijI X Yp basD(/)0jip ba1(/)1,(1,.,)mjijp bain11()(/)(,)nmijiijijp a p ba d a bD111(/)(,)()(/)log()(/)nmjiijirijijiip baI X Yp a p bap a p ba求极值，即为求求极值，即为求(5)式一阶导数等于零的方程组的解。式一阶导数等于零的方程组的解。已知平均互信息已知平均互信息I(X;Y)是信道是信道P的的U型凸函数，所以，若极型凸函数，所以，若极值存在，它一定是极小值。即求：值存在，它一定
25、是极小值。即求：1,.,0(/)1,.,jiinp bajm(/)()log()(,)0(/)()jiiiijijijp bap asp a d a bp bap b得：-(6)1(/)1,(1,.,)mjijp bain11()(/)(,)nmijiijijp a p ba d a bD(/)()log()(,)0(/)()jiiiijijijp bap asp a d a bp bap b-(6)1(;)(/)(5)mijijI X Yp basD 111(/)(,)()(/)log()(/)nmjiijirijijiip baI X Yp a p bap a p ba()exp(,)11
26、,.,(4.3.14)iiijip asd a bjm()()()(,)exp(,)(4.3.16)ijiijijijD sp a p bd a bsd a b1()()()log(4.3.17)niiiR ssD sp a()exp(,)11,.,(4.3.15)()exp(,)iijijijjp asd a bjmp bsd a b(/)()exp(,)(4.3.11)jijiijp bap bsd a b1()exp(,)(4.3.13)ijijjp bsd a b经整理得结论：经整理得结论：注：注：这时所得的结果是以这时所得的结果是以s为参量的表达式，而不为参量的表达式，而不是显式表达
27、式，因而所得到的是显式表达式，因而所得到的R(D)的表达式也是以的表达式也是以s为为参量的表达式。参量的表达式。参量参量s对应的限制条件为对应的限制条件为(4)式，它与允许的失真度式，它与允许的失真度D有关，所以，以有关，所以，以s为参量就相当于以为参量就相当于以D为参量。为参量。11()(/)(,)nmijiijijp a p ba d a bD 例例6 设离散信源设离散信源和接收变量：和接收变量：并设失真矩阵为并设失真矩阵为:01()1/21/2XP X0,1Y 0210ijDd求该信源的信息率失真函数求该信源的信息率失真函数R(D)。解解：根据：根据(4.2.4)式计算可得式计算可得 ，
28、由题已知，由题已知，根据参量表达式按如下步骤进行。根据参量表达式按如下步骤进行。第一步：由式第一步：由式(4.3.14)求求minmax0,1/2DD121/2pp11120,2dd21221,0ddi112112221211222121122212330.50.5110.50.5112(1)2(1),11sdsdssdsdsssssep ep eep ep eeeee第二步：由式第二步：由式(4.3.13)求求()jjqp b1112212232121213121222112(1)112(1)ssdsdssssdsdsseq eq eqq eeeq eq eq eqe22122211,2(1
29、)2(1)sssssseeeeqqee第三步：由式第三步：由式(4.3.16)求求D(s)，将上述结果代入式，将上述结果代入式(4.3.16)有有112112221 111 1212121212122222()sdsdsdsdD sp q dep q dep q dep q de221sssseeee第四步：由式第四步：由式(4.3.17)求求R(s)：12222()20.5log0.5log14(1)20.5log11sssssssssssseR sseeeseeseeeee应用式应用式(4.3.11)，还可求得此时的试验信道转移概率：，还可求得此时的试验信道转移概率：11211222211
30、332111 121321124321221123222222231(1)(1)(1)(1)(1)1(1)sssssdsssssdsdssssssdssseepeepqeeeepepqepqeeeepeepqeeepe研究连续信源的信息率失真函数比离散信源更有实际意研究连续信源的信息率失真函数比离散信源更有实际意义，因为连续随机变量不可能用有限比特加以精确描述，义，因为连续随机变量不可能用有限比特加以精确描述，即连续信源信息量为无限大，即连续信源信息量为无限大，传送无限大信息量既无必要，传送无限大信息量既无必要，也不可能。也不可能。所以连续信源的讨论都属于限失真范畴。所以连续信源的讨论都属于限
31、失真范畴。一、连续无记忆信源的信息率失真函数的定义一、连续无记忆信源的信息率失真函数的定义 连续信源的平均失真度定义为：连续信源的平均失真度定义为：通过试验信道获得的平均互信息为：通过试验信道获得的平均互信息为：()(|)(,)Dp x p y x d x y dxdy(|)(;)()(|)log()()(|)p y xI X Yp x p y xdxdyp yh Yh Y X同样，确定一允许失真度同样，确定一允许失真度D，凡满足平均失真小于，凡满足平均失真小于D的所有的所有试验信道的集合记为试验信道的集合记为PD，则连续信源的信息率失真函数定，则连续信源的信息率失真函数定义为：义为：(|)(
32、)inf(;)Dp y xPR DI X Y 二、高斯信源的信息率失真函数二、高斯信源的信息率失真函数 对高斯信源，在一般失真函数下，其率失真函数是很难对高斯信源，在一般失真函数下，其率失真函数是很难求得的，但求得的，但在平方误差失真度量下在平方误差失真度量下，其率失真函数有简单的，其率失真函数有简单的封闭表达式。封闭表达式。对平方误差失真，试验信道输入符号和输出符号之间失对平方误差失真，试验信道输入符号和输出符号之间失真为：真为：对应的平均失真度为：对应的平均失真度为：2(,)()d x yxy20()(|)()Dp x p y x xydxdy在平方误差失真下，设允许失真为在平方误差失真下
33、，设允许失真为D，则高斯信源，则高斯信源 的率失真函数为：的率失真函数为：2(0,)XN2221log0()20DR DDD下图表示当下图表示当 时，时，111()log2R DD的曲线。的曲线。三、连续无记忆信源信息率失真函数的参量表述三、连续无记忆信源信息率失真函数的参量表述类似于离散信源，连续信源的率失真函数的计算也归结为求类似于离散信源，连续信源的率失真函数的计算也归结为求有约束极值的问题，不过在连续信源情况下试验信道的条件有约束极值的问题，不过在连续信源情况下试验信道的条件概率也是函数，所以，率失真函数的计算就变成求泛函的极概率也是函数，所以，率失真函数的计算就变成求泛函的极值，即求
34、：值，即求：的极小值，满足约束条件为：的极小值，满足约束条件为：(|)(;)()(|)log,()()()p y xI X Yp x p y xdxdyp yp xy dxp y(|)0(|)1()(|)(,)p y xp y xDp x p y x d x y dxdy 约束条件下的泛函求极值问题和约束条件下的函数求极约束条件下的泛函求极值问题和约束条件下的函数求极值问题类似，即利用拉格朗日乘子将问题转化为无约束极值值问题类似，即利用拉格朗日乘子将问题转化为无约束极值问题，并用变分代替微分，对本节讨论的问题，等价于使下问题，并用变分代替微分，对本节讨论的问题，等价于使下式的一阶变分为零：式的
35、一阶变分为零：(|)(|)()(|)log()(|)()()(|)(,)p y xJ p y xp x p y xdxdyx p y x dxdyp ysp x p y x d x y dxdy其中其中 为待定函数，为待定函数，s为待定常数，其求解顺序完全类似于为待定常数，其求解顺序完全类似于离散情况。离散情况。()x在此我们仅给出最终结论：在此我们仅给出最终结论：在连续无记忆信源下，达到信息率失真函数的试验信道在连续无记忆信源下，达到信息率失真函数的试验信道的转移概率密度函数必需满足：的转移概率密度函数必需满足：(,)(|)()()sd x yp y xx p y e(,)()()1()0s
36、d x yx p x edxp y(,)()()1()0sd x yx p x edxp y 其中其中1(,)()()sd x yxp y edy()R D此时的率失真函数此时的率失真函数和失真和失真D满足参量方程：满足参量方程：(,)()()()()(,)sd x yD sx p x p y d x y edxdy()()()log()R DsD sp xx dx 需要说明的是，连续情况下的信息率失真函数与离散情需要说明的是，连续情况下的信息率失真函数与离散情况下信息率失真函数的一个主要差别在于当况下信息率失真函数的一个主要差别在于当0D()h X ()R D 时，由于连续信源的差熵时，由于
37、连续信源的差熵而使而使从此意义上讲，连续信源的熵压缩编码是必不可少的。从此意义上讲，连续信源的熵压缩编码是必不可少的。四、差值失真度量下连续无记忆信源的信息率失真四、差值失真度量下连续无记忆信源的信息率失真函数函数 一般情况下，连续无记忆信源下信息率失真函数的计算一般情况下，连续无记忆信源下信息率失真函数的计算相当困难，绝大多数情况下无解析解。相当困难，绝大多数情况下无解析解。但当连续信源的失真函数但当连续信源的失真函数D(x,y)为为x和和y的差值形式如：的差值形式如：|x-y|，(x-y)2时，可以较容易地采用参量表述式来求得其上、下限。时，可以较容易地采用参量表述式来求得其上、下限。(1
38、)差值失真度量下率失真函数的差值失真度量下率失真函数的Shannon下限下限()()()max()DLg GR DRDh xh g 上式是香农首先得到的，因此称其右端为差值失真度上式是香农首先得到的，因此称其右端为差值失真度量时连续信源的香农下限。量时连续信源的香农下限。(2)平方误差平方误差(差方差方)失真度量下率失真函数的上限失真度量下率失真函数的上限 对均值为零，方差为的任意连续无记忆信源，在差方失对均值为零，方差为的任意连续无记忆信源，在差方失真度量下的率失真函数满足如下结论：真度量下的率失真函数满足如下结论：221()log2R DDD上式中的等号当且仅当上式中的等号当且仅当21()
39、exp()22xp x时成立。时成立。定理定理4.1(保真度准则下的信源编码定理，保真度准则下的信源编码定理，香农第三定理香农第三定理)设设R(D)为一离散无记忆信源的信息率失真函数，并且为一离散无记忆信源的信息率失真函数，并且有有限的失真测度有有限的失真测度D。对于任意。对于任意 D ，以及任意长，以及任意长的码长的码长k，一定存在一种信源编码，一定存在一种信源编码C，其码字个数为，其码字个数为 使编码后码的平均失真度使编码后码的平均失真度 。0,0()2k R DMDD定理的含义是：定理的含义是：只要码长只要码长k足够长，总可以找到一种信源编足够长，总可以找到一种信源编码，使编码后的信息传
40、输率略大于码，使编码后的信息传输率略大于(直至无限逼近直至无限逼近)率失真函数率失真函数R(D)，而码的平均失真度不大于给定的允许失真度，而码的平均失真度不大于给定的允许失真度，即：即：DD 由于由于R(D)为给定为给定D前提下信源编码可能达到的传信率的前提下信源编码可能达到的传信率的下限，下限，所以香农第三定理所以香农第三定理说明了说明了：达到此下限的最佳信源编码是存在的达到此下限的最佳信源编码是存在的。实际的信源编码实际的信源编码(无失真编码或先进行限失真编码后再进无失真编码或先进行限失真编码后再进行无失真编码行无失真编码)的最终目标是尽量接近最佳编码，使编码信息的最终目标是尽量接近最佳编
41、码，使编码信息传输率接近最大值，或者对给定的信源用尽量少的编码符号传输率接近最大值，或者对给定的信源用尽量少的编码符号进行传输，而同时又能保证译码后能无失真地恢复信源。进行传输，而同时又能保证译码后能无失真地恢复信源。编码后信息传输率的提高使每个编码符号能携带尽可能编码后信息传输率的提高使每个编码符号能携带尽可能多的信息量，多的信息量，-使得传输同样多的信源总信息量所需的码符号数减使得传输同样多的信源总信息量所需的码符号数减少；少；-使所需的单位时间传输信道单位时间信道容量使所需的单位时间传输信道单位时间信道容量Ct减减少，或在少，或在Ct不变的前提下使传输时间缩短，从而提高通信的不变的前提下使传输时间缩短，从而提高通信的效率。效率。
