信息论与编码信道及其容量课件.ppt

1、第3章 信道及其容量n信道的数学模型及分类n信道疑义度与平均互信息n信息传输率与信道容量n离散单个符号信道的信道容量n离散无记忆序列信道的信道容量n串联信道和并联信道的信道容量n连续信道及其容量n信源与信道的匹配n信道编码定理简介学习得来终觉浅，绝知此事要自悟3.1 信道的数学模型与分类 信道的分类 信道的数学模型与参数信道的分类 输入输出随机信号的特点：离散信道、连续信道和半离散/半连续信道；输入输出随机变量个数的多少：单符号信道、多符号信道；信道用户的多少（输入输出个数）：单用户信道、多用户信道；输入端和输出端的关联：无反馈信道、有反馈信道；信道的分类 信道参数与时间的关系：固定参数（恒参

2、、平稳）信道和时变参数（随参、非平稳，time-varying）信道；信道上有无干扰：有干扰信道、无干扰信道；信道有无记忆特性：有记忆信道、无记忆信道；还可以根据载荷消息的介质和信号的形式不同进行分类。c1段，信号一般是连续的，所以该段为连续信道，调制信道c2为离散信道，编码信道；c3为半离散、半连续信道；c4为半连续、半离散信道。信源编码媒介译码信宿干扰C1C2C3C4AB通信系统中广义信道的分类 调制信道；编码信道。信道的基本特征包括输入、输出以及输入和输出之间的关系。假设输入矢量为 =(x1,x2,xN)，输入的矢量分量选择于符号集 A=a1,a2,ar，输出矢量 =(y1,y2,yN)

3、，输出的矢量分量选择于符号集 B=b1,b2,bs信道的数学模型与参数XY无干扰（无噪）信道 由于没有噪声，所以输入可以决定输出，即存在确定的函数f，Y=f(X)。)(,0)(,1)/(xyxyXYffp单符号离散信道 输入单符号变量X，取自符号集 A=a1，a2，ar；输出单符号变量Y，取自符号集 B=b1，b2，bs；由于信道的干扰使输入符号x在传输中发生错误，这种错误是随机发生的，所以可以用条件概率（转移概率）来表示噪声的干扰：p(y|x)=P(y=bj|x=ai)=p(bj|ai)；单个符号的离散信道的转移概率通常用信道转移概率矩阵表示：一般为了简化，记pij=p(bj|ai)，则信道

4、转移概率矩阵可以表示为 )a|b(p)a|b(p)a|b(p)a|b(pPrsr11s11rsr11s11Ppppp二元对称信道(BSC)有干扰无记忆离散信道 信道无记忆指的是输出只与当前输入有关，而与非该时刻的输入信号、输出信号都无关。有干扰无记忆信道有以下性质：离散无记忆信道(DMC)1122111(,/,)(/)nnnnnkkkkkpYy YyYyXxXxpYyXx有干扰有记忆离散信道 在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。由于有记忆信道的转移概率计算涉及到太多的参数，因此对它的分析和计

5、算更加复杂。提倡采用两种方法进行简化处理：1）将记忆性较强的N个符号当作一个N维矢量进行整体的处理，而各个矢量之间当作无记忆的。2）把信源序列的转移概率当作马尔可夫链的形式，即假设信道为有限记忆的。以上方法都是进行了简化和近似处理，会带来一定误差。离散输入连续输出信道 离散时间无记忆信道中最重要的一种是加性高斯白噪声（AWGN）信道。22()/21()2iyxip y xe 波形信道 信道转移概率密度函数为 根据多维连续信道的转移概率密度函数是否满足独立性条件将其分为连续有记忆信道和连续无记忆信道。1212,()(,)YYNNpy xpy yyx xx 1()()NYYlllpy xpy x

6、一般在这种信道中，噪声和信号通常相互独立，所以,(,)(,)()()X YX nX nnpx ypx npx p n,(,)(,)()()()()X YX nYnXXpx ypx npy xpnpxpx 3.2 信道疑义度与平均互信息疑义度和平均互信息量是研究信道的重要参数，相关的分析和性质参见第二章，在此不赘述。3.3 信息传输率与信道容量 信道的输入X x1,x2,xi,xn，输出Y y1,y2,yj,ym 将信道中平均每个符号所能传送的信息量定义为信道的信息传输率R，它的值就是平均互信息量，即R=I(X;Y)=H(X)-H(X|Y)bit/符号 信道容量C（Channel capacit

7、y）：在信道中最大的信息传输速率，单位是比特/信道符号 单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为：()()maxmax(;)(/)iip xp xCRI X Y比特 信道符号3.4 离散单个符号信道的信道容量 3.4.1 特殊离散信道 3.4.2 对称DMC信道 3.4.3 准对称DMC信道 3.4.4*具有可逆矩阵信道 3.4.5*一般DMC信道3.4.1 特殊离散信道 1具有一一对应关系的无噪信道1 0 0000 0 10 1 0000 1 00 0 1001 0 00 0 0110 0 0 2具有扩展性能的离散有噪声信道11213142526273

8、83(/)(/)(/)00000000(/)(/)(/)00000000(/)(/)p yxp yxp yxp yxp yxp yxp yxp yx 3具有归并性能的无噪信道100100010010001P 4输入输出独立信道(全损信道)H(X|Y)=H(X)，H(Y|X)=H(Y)I(X;Y)=H(X)H(X|Y)，所以 I(X;Y)=0，信道的输入和输出没有依赖关系，信息无法传输，信道容量为0，称为全损信道。3.4.2 对称DMC信道 以下两个转移概率矩阵即为对称信道3131616161613131216131312161613121则条件熵显然这个值与信道输入符号的概率分布p(ai)无关

9、，在信道的转移概率确定的情况下，这个值是一个确定值，所以信道容量为当Y是等概率分布的时候，其熵取最大值，即只要X的某一概率分布使得收到的符号Y是等概率，则ijmjijppmYXHmCloglog|(log1）例3-2 已知P矩阵，求C。解：1/3 1/3 1/6 1/61/6 1/6 1/3 1/31 1 1 14(,)0.082/3 3 6 6PClbHbit则符号对称信道有如下定理：定理定理3-1 对于单个消息离散对称信道，当且仅当信道输入输出均为等概率分布时，信道达到容量值。例3-3 求信道容量3131616161613131P符号/082.0)61,61,31,31(4log2bitH

10、C二进制对称信道的C值：1-1-ppPpplog2(,1)1()CH ppH p 00.20.40.60.8100.20.40.60.81例3-4 设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量。所以有I(X;Y)=1-H()，I(X;Z)=1-H2(1-)1121PP222221)1()1(2)1(2)1(1111PPP与I的关系00.5100.20.40.60.81m=1 m=2 m=3 3.4.3 准对称DMC信道 准对称DMC信道是对称信道的推广，例如：3/16/13/16/16/16/13/13/11P7.01.02.02.01.07.02P 准对称DMC信道的

11、容量 它的信道容量直接求解较为复杂。有以下定理可以有助于求解信道容量。定理定理3-23-2当输入分布为等概分布时，互信息达到最大值，所以对于单消息，离散，准对称信道，当且仅当信道输入为等概率分布时，信道达容量值。ijmjijppmYXHmCloglog|(log1）例3-5 求信道容量。解：信道的输入符号有两个，可设p(a1)，p(a2)1，信道的输出符号有三个，用b1、b2、b3表示2.05.03.02.03.05.0P()()(/)jijiip bp a p ba 2.0)1(2.02.0)(2.05.0)1(5.03.0)(2.03.0)1(3.05.0)(321bpbpbpjjijij

12、ijijI(X;Y)H(Y)H(Y/X)p(b)lnp(b)p(a)p(b/a)lnp(b/a)0)Y;X(I符号/bit036.0)Y;X(ImaxC方法二当p(a1)p(a2)1/2时，p(b1)p(b2)(1-0.2)/20.4C=H(Y)-H(Y/X)=0.036bit/符号 方法三可以证明，如果将转移概率矩阵划分成若干个互不相交的对称的子集，则信道容量rkkksMNpppHnC121log),(log例3-6求信道容量3/16/13/16/16/16/13/13/11P符号/041.0)6/16/1(log6/1)3/13/1(log3/1)6/13/1(log)6/13/1()6/

13、1,6/1,3/1,3/1(2log2222bitHC3.4.4*具有可逆矩阵信道 这类信道由于要求信道转移矩阵的逆存在，它必然要求信道输入输出具有相同数量的元素。即nm，P为方阵，且为正则方阵。具有可逆矩阵信道的信道容量为jijikjijijiikRPPPPPRC)(,)(log explog13.4.5*一般DMC信道 为使I(X;Y)最大化以便求取DMC容量，输入概率集p(xi)必须满足的充分和必要条件是：I(xi;Y)C，对于所有满足p(xi)0条件的i；I(xi;Y)C，对于所有满足p(xi)0条件的i。当信道平均互信息达到信道容量时，输入符号概率集p(xi)中每一个符号xi对输出端

14、Y提供相同的互信息，只是概率为零的符号除外。以上约束条件只是给出充分必要条件，但是并没有给出具体值。因此还需要采用计算机迭代的方法求解，一般情况下，最佳输入概率分布不一定是唯一的。3.5 离散无记忆序列信道的信道容量其他有记忆信道平稳，有记忆信道有记忆信道平稳无记忆信道一般无记忆信道无记忆信道离散序列信道 定义：多符号离散信源矢量 =X1X2XL在L个不同时刻分别通过单符号离散信道X，P(Y|X)，Y，则在输出端出现相应的随机序列 =Y1Y2YL，这样形成一个新的信道称为离散序列信道 。由于新信道相当于单符号离散信道在L个不同时刻连续运用了L次，所以也称为单符号离散信道X P(Y|X)Y的L次

15、扩展。XYY )X|YP(X，假设信道输入序列为 ，输出序列 ，由于无记忆，可得相应转移条件概率为12(,)Nxx xx12(,)Nyy yy1(/)(/)Niiip y xp y x 离散无记忆序列信道的数学模型如下：无记忆离散序列信道的输入矢量X的可能取值有个，而输出矢量Y的可能取值有个。其信道转移矩阵为：对于离散序列信道，可以证明：1、当信道无记忆的时候有上式在信源无记忆时等号成立。理解：理解：如果信源有记忆，信道传递的信息必然存在冗余度，这使得整体传递的信息量减少。要极大传输信息，以上结论对于我们有什么启示？在编码中有什么应用？1()()NiiiI XYI XY ；2、当输入矢量的各个

16、分量独立（信道不一定无记忆）时候有 上式在信道无记忆时等号成立。理解：理解：如果信道有记忆，输出端接收到的符号序列中，后面收到的符号带有前面符号的信息，可以将相关的符号作为一个整体编码来获取关于发送的序列的信息，这种整体的编码使得我们可以获得输入符号序列的更多信息。这对于纠错编码具有什么启示？1()()NiiiI X YI XY ；如果信道无记忆，并且输入矢量的各个分量独立（信源也无记忆）的时候有 对于离散无记忆序列信道，信道容量等于平均互信息量的最大值，所以1()()NiiiI X YI X Y ；()()1()11max(;)max(;)max(;)iNNiip xp xiNNiiip x

17、iiCI XYI XYI XYC 所以，离散平稳无记所以，离散平稳无记忆忆N个符号的序列信个符号的序列信道的信道容量等于单道的信道容量等于单个符号的信道容量的个符号的信道容量的N倍。信源无记忆时倍。信源无记忆时，信息传输率才能达，信息传输率才能达到信道容量。到信道容量。例3-7 BSC信道的转移概率矩阵为 求BSC二次扩展信道？解：对应的转移概率矩阵：是一个对称DMC信道，当输入序列等概分布时，容量为：22222222(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)ppppppppppppPpppppppppppp1-pp1-pPp222log4(1),(1),(1),

18、)CHppp pp p3.6 串联信道和并联信道的信道容量 3.6.1 串联信道及其信道容量 3.6.2*并联信道及其信道容量3.6.1 串联信道及其信道容量 消息具有非增性，串接的信道越多，其信道容量可能会越小，当串接信道数无限大时，信道容量就有可能趋于零。(/)1Zp z xy (/)1Yp y x X Y Z 信道I p(y/x)信道II p(z/xy)例3-8 现在有两个信道串联，转移概率矩阵如下：100111213330113301222033和 例3-9 二进制对称信道转移概率矩阵如下：即串联信道的平均互信息量信道容量要低于其中的任意一段，以及其中的一部分的信道容量。以此可以得出串

19、联信道的信道容量也满足不增性。3.6.2*并联信道及其信道容量 1.输入并接信道1 21211 2121231 21 21111 22()()(/)(/)()(/)(/)(/)()(/)(/)NNNNNNNNNNI X YYYI X YI X Y YI X Y YYYI X YI X Y YI X Y YYI X Y YYYI X YI X Y YI X YYYY Y；()max()p xCH X可以得出并联后的信道容量C要大于任意的单个信道的信道容量，但是有小于信息的最大熵logm（m为输入符号集中符号数目）2.并用信道所以并用信道的信道容量为即并用信道的信道容量为所有被并联的信道容量之和。

20、当输入符号相互独立，且每一个信道的输入达到各自信道对应的最佳概率分布时，平均互信息量才能达到信道容量。()()11max()max()NNiiip xp xiiCI XYI XYC ；3.和信道和信道的信道容量计算较为复杂，需要考虑各个信道的利用率，限于其应用及价值，在这里不再赘述，有兴趣请参考曲炜，朱诗兵的信息论基础及应用。3.7 连续信道及其容量 3.7.1 连续单符号加性信道 3.7.2 多维无记忆加性连续信道 3.7.3 限时限频限功率的加性高斯白噪声信道3.7.1 连续单符号加性信道上图为连续单符号信道模型。定义：定义：信源X等于某一概率密度函数p(x)时，信道平均互信息的最大值，即

21、为连续信道的信道容量C()max(;)p xCI X Y上图为加性噪声的干扰信道模型。加性连续信道的信道容量：加性噪声N和信源X相互统计独立，X的概率密度函数p(x)的变动不会引起噪声熵Hc(N)的改变，所以加性信道的容量C就是选择p(x)，使输出熵Hc(Y)达到最大值，即：()max()()ccp xCHYHN高斯加性信道的信道容量：高斯噪声为N，均值为0，方差为 ，噪声功率为P；概率密度函数为pn(N)=N(0,)，噪声的连续熵为高斯加性连续信道的容量等于22221()log22cHNe 22()()1max()()max()log 22cccp xp xCH YHNH Ye px(x)=

22、N(0,S)，即输入X满足正态分布时，Hc(Y)达到最大值，达到信道容量。因此，高斯加性信道的信道容量为注意，由于是加性信道，2222()11max()log 2()log 222cXYp xH YeeP 2222222211log 2log 22211log()log(1)22CePeSS 2SP3.7.2 多维无记忆加性连续信道 由于信道无记忆，所以 根据加性信道的性质，噪声各个时刻是独立的，所以有L1lll)x|y(p)X|Yp(L1llnYn)(np)X|Y(p)n(p根据信道容量的定义，最终可得LlllpPIC12)()1log(21);(maxYXx对于多维无记忆加性连续信道，有以

23、下结论：(注意n的下标为l，而非数字1)，则有信道容量当且仅当输入矢量X各分量统计独立，且各分量都服从时，信息传输率达到最大。l=(0,)xNSa)在噪声平均功率过大，甚至超过输出平均功率时，可以不给予功率，即不发送信号;b)在噪声平均功率较大，但还没有超过输出平均功率时，我们可以少给点输入平均功率;c)在噪声平均功率较小的时间里，我们可以多给点输入平均功率。3.7.3 限时限频限功率的加性高斯白噪声信道 波形信道的平均互信息量 信息传输率Rt 信道容量1lim(;)/BttBRI X Y bitst()1maxlim(;)/Btp xBI X Ybit stCt高斯白噪声信道容量若信号的平均

24、功率Pl受限于Ps，则Pl每个信号样本值的平均功率为 。可得2211log(1)2LlllPC/2/2lsPPTWTPW 信道每秒传输2W个样点，所以单位时间的信道容量为：香农公式20limlog(1)(/)STtPCWbit sTN WC220log(1)log(1)SStNPPCWWPN W 香农公式的物理意义：当信道容量一定时，增大信道的带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。香农公式是在噪声信道中进行可靠通信的信息传输率的上限值。香农公式说明3.8 信源与信道的匹配 绝对信道冗余度（剩余度）表示信道的实际传信率和信道容量之差，所以有 信道

25、效率CI(X;Y)CYXIc);(信道相对冗余度 显然，对于无干扰信道：I(X;Y)=H(X)(r是信道输入符号的个数)则Rs为信源冗余度ccI(X;Y)R11C()max()logp xCH XrcsH(X)R1Rlog r在一般通信系统中，如何将信源发出的消息(符号)转换成适合信道传输的符号(信号)从而达到信源与信道的匹配？这种匹配有两个方面的内容：(1)符号匹配(2)信息匹配 请问缩小信源的冗余度就可以完全解决信源对信道的匹配了吗？信道冗余度和信源冗余度是什么关系？给定信道的情况下，将信源信道当作一个整体，信道信息的最大信息传输率怎样才能达到最大？回顾3.5节关于离散无记忆N次扩展信道的信道容量的知识，对于提高信息传输率有什么结论？3.9 信道编码定理简介有噪信道编码定理(香农第二定理)：定理定理3-3 若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息传输率RC时，总可以找到一种编码，当L足够长时，译码错误概率趋向于无穷小，反之，当RC时，任何编码都不可能让译码错误率趋向于任意小。我们致力于使得本书上达思想与方法，下及实现与应用，但是力所不及，欢迎多提宝贵意见至http:/