1、第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！1 第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！2q设离散无记忆信源为设离散无记忆信源为)(,),(),(,)(2121mmjypypypyyyypYY到接收端信源符号通过信道传送)(,),(),(,)(2121nnixpxpxpxxxxpX)/()/()/()/()/()/()/()/()/()/(212222111211nmnnmmxypxypxypxypxypxy
2、pxypxypxypXYp信道的传递概率矩阵第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！3第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！4 nimjjiijijijiyxdxypxpDyxdEDXYPYXyxd11),()/()(),()(),(由数学期望的定义中的统计平均值的联合概率空间和在即，第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都
3、会换来一份收获！5DD第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！6DD第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！7n常用的失真函数常用的失真函数q第一种第一种q当当a=1时称为汉明失真矩阵时称为汉明失真矩阵。q第二种第二种/平方误差失真矩阵平方误差失真矩阵：d(xi,yj)=(yjxi)20000000),(aaaaaaaaaaaaDjiaajiyxdji0111010111101111010),(Djiji
4、yxdji第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！8);(min)()/(YXIDRDijPxypDDDD 第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！9第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！10);(max)(YXICixp);(min)()/(YXIDRDiiPxyp第四章第四章 信息率失真函数信息率失真函数
5、2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！11第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！12DCD)(DCD)(第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！13第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！14111144440123()UP u0111101111011
6、110D第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！1511133334444()113max124()(/)(,)()min(,)0min()()(,),min(,)jnmijiijijniijjimnjjjjijp yjimDp u p vu d u vp ud u vp yDDp x d x yDD DDrminmax解答：四元对称信源在汉明失真矩阵下，它的平均失真度根据最小允许失真度的定义：D根据最大允许失真度的定义：D由 元离322434log 4log 3()0()0DH DDR DD散对称
7、信源可得：第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！16111333101()UP u121121D第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！17131443314max123maxmin()min(,)(1 1 1)1()(,),min(,)11011101001,100101niijjinjiijimp ud u vDp u d u vDD DDDD min解答：根据最小允许失真度的定义：D根据最大允许失
8、真度的定义：达到的信道为，达到的信道为11221001或(,)0I U V(,)()I U VH U11()(/)(,)nmijiijijDp x p yx d x y第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！1801()1/21/2XP X00aDa第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！19minmax22000,/2102()02log1log1DDDHDR DDDDDDDH解答：二元对称信源，其失真
9、矩阵为，可计算得：根据参量表达式可求得，这里，=-第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！2001()1/21/2XP X0210D第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！21minmax121112212202100,1/2()()1/2(,)0,(,)2,(,)1,(,)0DDp xp xd x yd x yd xyd xy解答：二元对称信源，其失真矩阵为，可计算得：根据参量表达式进行求解第四章第四章
10、 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！22第一步第一步：求：求i，由式由式(4.2.12)有有11211222(,)(,)1122(,)(,)11221221221233()()1()()10.50.510.50.512(1)2(1)11Sd x ySd xySd x ySd xySSSSSSp x ep x ep x ep x eeeeeee)12.2.4(),2,1,0)(,1)(1),(mjypexpjniyxSdiiji第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都
11、会换来一份收获！我相信，每一份努力，都会换来一份收获！23第二步第二步：求：求p(yj)，由式由式(4.2.11)有有11122122(,)1(,)(,)121(,)(,)12232123122221221()(4.2.11)1()()1()()1()()2(1)1()()2(1)1()()2(1)ijmSd x yijjSd x ySd x ySd xySd xySSSSSSSSSp y ep y ep y ep y ep y eep yp y eeep y ep yeeeep yp ye212(1)SSSee第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都
12、会换来一份收获！我相信，每一份努力，都会换来一份收获！24第三步第三步：求：求p(yj/xi)，由式由式(4.2.10)有有11211222(,)2113(,)111112(,)1212(,)2121(,)2222(/)()1,2,;1,2,(4.2.10)1(/)(1)(1)(/)()(/(/)()(/)()(/)()ijSd x yjijiSSSSSd x ySd xySd x ySd xyp yxp yein jmeep yxeep yxp yep yxp yxp yep yxp yep yxp ye3234322132223)(1)(/)(1)(1)1(/)(1)SSSSSSSSSSS
13、Seeeeeeep yxeeeep yxe第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！25第四步第四步：求：求D(S)，将上述结果代入式将上述结果代入式(4.2.14)有有11211222(,)11(,)11111(,)21211(,)12122(,)222212()()()(,)(4.2.14)()()()(,)()()(,)()()(,)()()(,)21ijnmSd x yijijiijSd x ySd xySd x ySd xySSSSD Sp x p y d x yeD Sp x p y d
14、x yep xp y d xyep x p y d x yep xp y d xyeeeee第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！26第五步第五步：求：求R(S)，将上述结果代入式将上述结果代入式(4.2.15)有有112222()()()ln(4.2.15)()20.5ln0.5ln14(1)20.5ln11niiiSSSSSSSSSSSR SSD Sp xSeR SSeeeSeeSeeeee第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信
15、，每一份努力，都会换来一份收获！2712()0.50.5SssP s第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！28,tCttt解答：(1)信源的信息熵 H(S)=1 bit/symbol信源输出的信息传输速率 R=2.66(symbol/s)H(s)=2.66bit/s将此信源输出符号送入二元无噪无损信道进行传输，此信道每秒只传送二个符号，其最大信息传输速率 C=2bit/s 可见，R根据信道编码定理，不论进行任何编码此信源都不可能在该信道中实现无失真的传输。故信源在此信道中传输会引起错误和失真。第四
16、章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！29Rttt(2)信源的失真度为汉明失真。其信息率失真函数 R(D)=1-H(D)bit/symbol R(D)=2.66(D)bit/s若当CR(D)，则此信源在此信道中传输时不会引起错误，也就是不会因信道而增加信源新的失真。总的信源的失真是信源压缩编码所造成的允许失真D。所以有 2=2.661-H(D)H(D)0.2481 D0.0415故允许信源平均失真D0.0415时，此信源就可以在此信道中传输第四章第四章 信息率失真函数信息率失真函数2023-2-11我
17、相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！30 设信源设信源 ，其失真度为，其失真度为汉明失真度，试问当允许平均失真度汉明失真度，试问当允许平均失真度 D=(1/2)p 时，每时，每一信源符号平均最少需要几个二进制符号？一信源符号平均最少需要几个二进制符号？211)(21pppxxxpXi第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！31解：失真矩阵解：失真矩阵)1ln()1(ln)()21()(443.1)(1,2)21()(443.1log)()()21()(443.1
18、)()21()()(12101102pppppHpHpHDRKLmpHpHmLKDRbitpHpHnatpHpHDRpDD这里时当第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！32123()1/3 1/3 1/3XxxxP X第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！331121min()1()(/)(,)()min(,)0()()log 3100010001min()()(jnmijiijijniijjimjjjjip yjDp u p vu d u vp ud u vRH XDPp yDDp x d xminminmax解答：三元对称信源在汉明失真矩阵下，它的平均失真度根据最小允许失真度的定义：D，D达到的信道为根据最大允许失真度的定义：D22233312max12max3,),min(,),()0njimyDD DDR D第四章第四章 信息率失真函数信息率失真函数2023-2-11我相信，每一份努力，都会换来一份收获！我相信，每一份努力，都会换来一份收获！34max1112233311101,01()log 3log 2()1/3DPRH达到的信道为其中，
