信息论—0339张课件.ppt

1、信源编码器信道译码器信宿信息传输系统示意图信道是重要的信息传输通道。研究信道就是研究它能够传输的最大信息量。离散信道及其信道容量 信道的数学模型及分类 平均互信息*与平均条件互信息 信道容量*及其一般计算方法 独立并联信道及其信道容量 信源与信道的匹配1.信道的数学模型及分类信道的分类用户数两端（单用户）信道多端（多用户）信道输入与输出的关系无反馈信道有反馈信道与时间的关系固定参数信道时变参数信道输入、输出信号的特点离散信道、连续信道、半离散或半连续信道、波形信道离散信道的数学模型信道XY),(1NiXXXX),(1NiYYYY)|(xyP,:1raaX,:1sbbYyP1)|(xy三种信道：

2、1.无干扰（无噪）信道)(xyf)(0)(1)|(xyxyxyffP2.有干扰无记忆信道NiiiNNxyPxxxyyyPP12121)|()|()|(xy3.有干扰有记忆信道无记忆信道的充要条件单符号离散信道的数学模型信道的传递概率（转移概率）)|()|()|(ijijabPaxbyPxyPri,2,1sj,2,1jijabP1)|(YbbbabPaaaXsijr2121)|(且满足二元对称信道(BSC)01a12a10b21bp1p1pppppp111010用矩阵来表示1,0:X1,0:Y2121211)|()|(jjjjabPabP且满足)|()|()|()|()|()|()|()|()|

3、(212222111211rsrrssabPabPabPabPabPabPabPabPabPraaa211b2b3brsrrssppppppppp212222111211P离散信道传递矩阵接收到输出符号后，输入符号的平均不确定性为jby rixjjjijijbxPbxPbaPbaPbXH1)|(1log)|()|(1log)|()|(信道疑义度XYrisjjijirijijisjjsjjjyxPxyPbaPbaPbaPbaPbPbXHbPYXH)|(1log)()|(1log)()|(1log)|()()|()()|(111112.平均互信息及平均条件互信息平均互信息)|()();(YXHXH

4、YXIYXYXXyPxyPxyPyxPxyPxPxPYXI,)()|(log)()|(1log)()(1log)();(对于单个事件)()|(log)()()(log)()|(log)|(1log)(1log);(yPxyPyPxPxyPxPyxPyxPxPyxI)|()()()()()|()();(XYHYHXYHYHXHYXHXHYXI互信息与输入、输出信号熵的关系维拉图损失熵噪声熵);()()|(YXIXHYXH);()()|(YXIYHXYH平均条件互信息信道1信道2)|()|()|(log)|()|(log)|(1log)|(1log)|;(zyPzxPzxyPzxPyzxPyzxP

5、zxPzyxIxyz已知z的条件下，接收到y后获得关于x的条件互信息已知y,z的条件下，总共获得关于x的互信息)|;();()|()|(log)()|(log)()|(log);(yzxIyxIyxPyzxPxPyxPxPyzxPyzxI同样)|;();();(zyxIzxIyzxI求统计平均，可得)|()|()|;(YZXHZXHZYXI)|;();()|;();();(ZYXIZXIYZXIYXIYZXI例题设信源通过一干扰信道，接收符号为信道传递概率如图所示，求1)信源 中事件 和 分别含有的自信息。2）收到消息 后，获得的关于 的信息量。3）信源 和 信源 的信息熵。4）信道疑义度 和

6、噪声熵 。5）收到信息 后获得的平均互信息。4.0,6.0,)(21xxxPx,21yyY X1x2x)2,1(jyj)2,1(ixiXY)|(YXH)|(XYHY1x2x2y1y6/54/16/14/31)事件 含有的自信息1x737.06.0log)(log)(11xPxI比特事件 含有的自信息2x32.14.0log)(log)(22xPxI比特2)互信息公式)()|(log)()|(log);(iijijijiyPxyPxPyxPyxIXijijxyPxPyP)|()()(所以可得8.0)(1yP2.0)(2yP则059.0);(11yxI263.0);(21yxI093.0);(12

7、yxI322.0);(22yxI比特比特比特比特3 信源 与 的信息熵XY21971.0)(log)()(iiixPxPXH21722.0)(log)()(iiiyPyPYH比特/符号比特/符号4 信道疑义度2121)|(1log)|()()|(ijjiijiyxPxyPxPYXH而85)()|()()|(111111yPxyPxPyxP83)()|()()|(121212yPxyPxPyxP21)()|()()|(212121yPxyPxPyxP21)()|()()|(222222yPxyPxPyxP可得9635.0)|(log)|()()|(log)|()()|(log)|()()|(lo

8、g)|()()|(22222212112121111121yxPxyPxPyxPxyPxPyxPxyPxPyxPxyPxPYXH比特/符号7145.0)|(log()|()()|(2121ijijijixyPxyPxPXYH比特/符号噪声熵5 收到信息 后获得的平均互信息Y0075.0)|()();(YXHXHYXI比特/符号例题四个等概率分布的消息 被送入一个二元无记忆对称信道进行传送。通过编码使 而BSC信道如图所示。试问输入是 和输出第一个符号是0的互信息是多少？如果知道第二个符号也是0，这时带来多少附加信息量？0101pppp4321,MMMM11,10,01,004321MMMM1M

9、41)()()()(4321MPMPMPMPpPMP)0|0()|0(1输入是 和输出符号是0的互信息)0()()0(log)0;(111PMPMPMI1MpMPMPMP41)|0()()0(1112141414141)|0()()0(41ppppMPMPPiii所以pPMPMPMIlog1)0()()0(log)0;(111比特第二个符号是0带来的附加信息量是)0;()00;()0|0;(111MIMIMI而)00()()00(log)00;(111PMPMPMI211141)|00()()00(pMPMPMP因为信道是无记忆信道21)0|0()0|0()00|00()|00(pPPPMP4

10、1)|00()()00(41iiiMPMPP所以pMIMIMIlog1)0;()00;()0|0;(111比特平均互信息的特性1 平均互信息的非负性0);(YXI2 平均互信息的极值性)();(XHYXI3 平均互信息的交互性（对称性）);();(XYIYXI4 平均互信息的凸状性a.平均互信息是输入信源的概率分布的 型凸函数b.平均互信息是信道传递概率分布的 型凸函数3.3 信道容量及其计算方法信道容量就是信道的最大信息传输率（平均每个符号所能传送的信息量）),(max)(YXICxP物理意义：信道传输的最大信息量，只与信道的统计特性有关。对应的输入概率分布称为最佳输入分布。离散无噪、无损信

11、道的的信道容量对于无噪无损信道互信息)()();(YHXHYXI信道容量rXHCxPlog)(max)(对于有噪无损信道信道容量rXHCxPlog)(max)(对于无噪有损信道信道容量sYHCxPlog)(max)(互信息互信息)()();(YHXHYXI)()();(XHYHYXI损失熵噪声熵);()()|(YXIXHYXH);()()|(YXIYHXYH对称离散信道的信道容量对称离散信道：信道矩阵中每一行都是由同一 集的诸元素的不同排列组成，并且每一列也都是由 集的诸元素不同排列组成，即信道矩阵中每一行是另一行的置换，以及每一列是另一列的置换。信道容量),()(max21)(sxPpppH

12、YHC,21sppp,21rqqq对于对称离散信道，当输入符号 达到等概率分布时，则输出符号 也一定是等概率分布，所以XY),(log21spppHsC例题某对称离散信道的信道矩阵为3131616161613131P其信道容量为0817.0)61,61,31,31(4log),(log21HpppHsCs比特/符号准对称信道的信道容量若信道矩阵 的列可以划分成若干个互不相交的子集 ，即QkBYBBBBBBnn1121,由 为列组成的矩阵 是对称矩阵，则称信道矩阵 所对应的信道为准对称信道。kBkQQnkkksMNpppHrC121log),(log信道容量其中kYyikxyPN)|(Xikxy

13、PM)|(k为子矩阵的个数例题设信道传递矩阵为qpqppqqp11Pqp1qp1ppqq00112可计算得qN11qN2qM11qM22信道容量为qqqpqpppMNpppHrCnkkks12log)1()1log()1(loglog),(log121一般离散信道的信道容量一般离散信道的平均互信息 达到极大值（即等于信道容量）的充要条件是输入概率分布 满足);(YXIipCYxIbCYxIaii);()();()(对所有 其对所有 其ixix0ip0ip就是所求的信道容量。CsjjijijibPabPabPYxI1)()|(log)|();(其中设离散信道如图所示。输入符号集为 。,54321

14、aaaaa输出符号集为 。,21bb信道矩阵为101021210101P试求信道的信道容量。1b2b1a2a3a4a5a115.05.011例题假设输入概率分布为0)()()(,21)()(43251aPaPaPaPaPsjjijijibPabPabPYxI1)()|(log)|();(21)()(21bPbP2log);();(21YaIYaI2log);();(54YaIYaI0);(3YaI因此信道容量1C比特/符号离散无记忆扩展信道及其信道容量rsrrssppppppppp212222111211PsjijP11),2,1(ri,21raaaA,21rbbbB对于离散无记忆信道，输入符

15、号集输出符号集信道矩阵为则此信道的离散无记忆扩展信道可以表示为NNNNNNsrrrss212222111211Nrk,2,1Nsh,2,1)|(khkhPNkkkkaaa21Nhhhhbbb21Nshkh11满足所以NikhkhkhiiabPP1)|()|(离散无记忆扩展信道的信道容量)();(X;YNIIYX)();(X;YNIIYX当信源也是无记忆时离散无记忆扩展信道的平均互信息离散无记忆扩展信道的信道容量)(X;YNICN信道1信道2信道31X2XNX1Y2Y3Y)|(11xyP)|(NNxyP)|(22xyPN个独立并联信道的联合概率)|()|()|()|(22112121NNNNxy

16、PxyPxyPxxxyyyP联合平均互信息NiiiNNYXIYYYXXXI12121);();(信道容量NiiNNxxPNCYYYXXXICN12121)(,2,1);(max1独立并联信道及其信道容量串联信道的互信息和数据处理定理);();(ZYIZXI);(maxZXIC 信道1信道2xyz对于串联信道，每一级输出矢量只取决于它的输入，而与更前面的输入无关，则有串联信道的信道容量为);();(YXIZXI信源与信道的匹配信道剩余度);(YXIC 信道相对剩余度CYXI);(1小结信道的分类离散信道的数学模型平均互信息信道疑义度risjjijisjjjbaPbaPbXHbPYXH111)|(1log)()|()()|(YXyPxyPxyPYXI,)()|(log)();(平均互信息的特性信道容量及计算方法独立并联信道及其信道容量NiiNNxxPNCYYYXXXICN12121)(,2,1);(max1离散无噪信道对称离散信道准对称信道一般离散信道信道剩余度);(YXIC 串联信道的互信息和数据处理定理);();(ZYIZXI);();(YXIZXI);(maxZXIC docin/sanshengshiyuandoc88/sanshenglu 更多精品资源请访问更多精品资源请访问