最新-信息论与编码第三章-PPT精品课件.ppt

1、信息论与编码基础教程信息论与编码基础教程第第3 3章章 信道及信道容量信道及信道容量 本章主要内容本章主要内容3.13.1信道的基本概念信道的基本概念3.23.2离散单符号信道及容量离散单符号信道及容量3.2.13.2.1数学模型数学模型3.2.23.2.2信道容量信道容量3.33.3离散序列符号信道及容量离散序列符号信道及容量3.4 3.4 信源与信道的匹配信源与信道的匹配3.53.5*连续信道及其容量连续信道及其容量 本次课内容本次课内容3.1 3.1 信道的基本概念信道的基本概念3.2 3.2 离散单符号信道及容量离散单符号信道及容量3.2.1 3.2.1 数学模型数学模型3.2.2 3

2、.2.2 信道容量信道容量信道信道(information channels)(information channels)：是信号的传输媒质。是信号的传输媒质。信道的作用：信道的作用：把携有信息的信号从它的输入端传递到输把携有信息的信号从它的输入端传递到输出端。出端。它的最重要特征参数是信息传递能力，即它的最重要特征参数是信息传递能力，即信道容量问题。信道容量问题。相关知识复习 在高斯信道下，信道的信息通过能力与信道的频带宽度、信道的工作时间、信道的噪声功率密度有关。频带越宽，工作时间越长，信号、噪声功率比越大，信道的通过能力就越强，信道容量越大。相关知识复习 本章主要讨论离散信道的统计特性和

3、数学模本章主要讨论离散信道的统计特性和数学模型，定量的研究信道传输的平均互信息及其重要型，定量的研究信道传输的平均互信息及其重要性质，导出信道容量的概念和几种比较典型的信性质，导出信道容量的概念和几种比较典型的信道的信道容量计算方法。道的信道容量计算方法。本章重点在于研究一个输入端和一个输出端本章重点在于研究一个输入端和一个输出端的信道，即单用户信道。以无记忆、无反馈、固的信道，即单用户信道。以无记忆、无反馈、固定参数的离散信道为重点内容讨论。定参数的离散信道为重点内容讨论。相关知识复习X=X0,X1,X2 Xr-1含含r个个元素的输入符号集元素的输入符号集Y=y0,y1,y2ys-1含含S个

4、个元素的输出符号元素的输出符号r与与s的值不同信道模型不同的值不同信道模型不同 3.13.1信道分类信道分类5.1信道分类信道分类：1.有线信道和无线信道 有线信道：明线、对称电缆、同轴电缆及 光缆等。无线信道：地波传播、短波电离层反射、超短波或微波视距中继、人造 卫星中继以及各种散射信道等。3.1信道分类2恒参信道和随参信道u恒参信道：信道的统计特性不随时间而变化。如明线、对称电缆、同轴电缆、光缆、卫星中继信道一般被视为恒参信道。u随参信道：信道的统计特性随时间而变化。大多数的信道都是随参信道，统计特性随着环境、温度、湿度而变化。如短波电离层反射信道、对流层散射信道等。3.1信道分类 3 3

5、单用户信道和多用户信道单用户信道和多用户信道u单用户信道：单用户信道：信道只有一个输入端和一个输出信道只有一个输入端和一个输出端，且只能进行单方向的通信。端，且只能进行单方向的通信。u多用户信道：多用户信道：又称多端信道，输入端或者输出又称多端信道，输入端或者输出端至少有一端具有两个或者两个以上用户，并端至少有一端具有两个或者两个以上用户，并且可以实现双向通信，目前大多数信道都是多且可以实现双向通信，目前大多数信道都是多端信道。端信道。3.1信道分类4 4离散信道、连续信道、半离散半连续信道和离散信道、连续信道、半离散半连续信道和波形信道波形信道u离散信道：离散信道：又称数字信道，该类信道中输

6、入空又称数字信道，该类信道中输入空间、输出空间均为离散时间集合，集合中事件间、输出空间均为离散时间集合，集合中事件的数量是有限的，或者无限的，随机变量取值的数量是有限的，或者无限的，随机变量取值都是离散的。都是离散的。u波形信道：波形信道：也称为时间连续信道，信道输入、也称为时间连续信道，信道输入、输出都是时间的函数，而且随机变量的取值都输出都是时间的函数，而且随机变量的取值都取自连续集合，且在时间上的取值是连续的。取自连续集合，且在时间上的取值是连续的。3.1信道分类u连续信道：又称为模拟信道，输入空间、输出空间均为连续事件集合，集合中事件的数量是无限的、不可数的，即随机变量的取值数量是无限

7、的，或者不可数的。u半离散半连续信道：输入空间、输出空间一个为离散事件集合，而另一个则为连续事件集合，即输入、输出随机变量一个是离散的，另一个是连续的。3.1信道分类 5随机差错信道和突发差错信道。u 随机差错信道：信道中传输码元所遭受的噪声是随机的、独立的，这种噪声相互之间不具有关联性，码元错误不会成串出现。如：高斯白噪声信道。u突发差错信道：信道中噪声或干扰对传输码元的影响具有关联性，相互之间不独立，使码元错误成串出现。如：衰落信道、码间干扰信道。移动通信的信道、光盘存储属于该类信道。3.1信道分类3.2离散单符号信道及容量 3.2.1 数学模型 若信道的输入符号之间、输出符号之间都不存在

8、关联性，信道的分析可简化为对单个符号的信道分析，此时输入、输出可以看做是单符号的，称这类信道为单符号信道。如果信道的输入、输出随机变量又都是离散的，该信道则为单符号离散无记忆信道。3.2离散单符号信道及容量 设离散信道的输入变量为X，输出变量为Y，对应的概率空间分别为 )()()()()()()()(21212121ssrrbpbpbpbbbypYapapapaaaxpX输入符号集合的元素个数为输入符号集合的元素个数为r r，输出符号集合的元素个数为，输出符号集合的元素个数为s s3.2.1 3.2.1 数学模型数学模型 i=1，2，r，j=1，2，s。表明：在输入x的情况下，信道输出y的取值

9、只能是其中的一个，不可能还有其他的取值。该类信道的特性可用条件转移概率进行描述。输入 ，输出 时对应的条件转移概率为 )()()(ijijabpaxbypxyp1)(1sjijabpjby iax 3.2.1 3.2.1 数学模型数学模型称该矩阵为：条件转移矩阵 或者信道转移矩阵。)()()()()()()()()()/(212222111211rsrrssabpabpabpabpabpabpabpabpabpXYP 用矩阵表示信道输入输出符号之间的条件转移关系用矩阵表示信道输入输出符号之间的条件转移关系3.2.1 3.2.1 数学模型数学模型 由于信道中存在干扰或者噪声，信道输入符号与输出符

10、号之间并不是一一对应关系，不能使用确定性函数描述输入、输出之间的关系。故信道的分析用统计方法。用条件转移概率用条件转移概率 可以表示输出为可以表示输出为bj 的各种可各种可能性能性)(ijabpiax 输入输入:传输的过程中出现错误传输的过程中出现错误3.2.1 3.2.1 数学模型数学模型信道输入、输出符号之间的联合分布为)()(),(ijijiabpapbap)(ijabp前向概率，表示在输入为x=ai 时，通过信道后接收为bj 的概率，描述了信道噪声的特性。P(ai)为先验概率。联合分布还可以表示为后验概率,表示当接收符号为bj时,信道输入为ai的概率。p(ai,bj)p(bj)p(ai

11、 bj)p(aibj)3.2.1 数学模型可以得到后验概率为)()()(21sbpbpbp)()()(21rapapaprrijiijijjijiabpapabpapbpbapbap1)()()()()(),()(=PT(YX)由前向概率和先验概率可计算出信道输出符号概率由前向概率和先验概率可计算出信道输出符号概率p(bj)p(ai)p(bj ai)i1r矩阵表示形式矩阵表示形式3.2.1 3.2.1 数学模型数学模型二进制离散信道（r=s=2）由输入值集合X=0,1,输出值Y=0,1,一组表示输入、输出关系的条件概率(转移概率)组成。P(yj/xi)X0,1Y0,13.2.1 数学模型 若信

12、道存在干扰，导致二进制序列发生统若信道存在干扰，导致二进制序列发生统计独立的差错，且条件概率对称计独立的差错，且条件概率对称.P(Y=1/X=1)=P(Y=0/X=0)=1-PP(Y=1/X=1)=P(Y=0/X=0)=1-P即即P(Y=0/X=1)=P(Y=1/X=0)=PP(Y=0/X=1)=P(Y=1/X=0)=P输入是输入是1 1或或0 0输出为输出为0 0或或1 101PPPPP=0 1 这种对称二进二出这种对称二进二出的信道叫做二进制对称的信道叫做二进制对称信道信道,简称简称BSCBSC信道信道.3.2.1 3.2.1 数学模型数学模型信道模型信道模型:011-PPP1-P10 这

13、种信道的输出符号仅与对应时刻输入符号这种信道的输出符号仅与对应时刻输入符号有关有关,与以前输入无关，故称此信道是无记忆信与以前输入无关，故称此信道是无记忆信道的道的.3.2.1 3.2.1 数学模型数学模型2.2.离散无记忆信道离散无记忆信道则则P(Y=yP(Y=yi i/X=x/X=xi i)=P(y)=P(yi i/x/xi i)称为离散无记忆信道称为离散无记忆信道若输入值的集合若输入值的集合 X=XX=X0 0,X,X1 1X Xr-1r-1 输出输出 Y=yY=y0 0,y,y1 1y ys-1s-1 且信道和调制过程是无记忆的且信道和调制过程是无记忆的离散无记忆信道离散无记忆信道(D

14、MC)(DMC)3.2.1 3.2.1 数学模型数学模型决定DMC特点的条件概率P(yj/xi)可写成矩阵形式 P(Y1=V1，Y2=V2Yn=Vn/X=U1X=Un)=p(YRnUR/XuR)若DMC信道的输入、输出是由n个符号组成的序列,其中uiX,viY，i=1 2,3,4n,则联合条件概率为:Ppij3.2.1 数学模型转移概率矩阵转移概率矩阵 Pp(y0/x0)p(y1/x0)p(yQ-1/x0)p(y0/x1)p(y1/x1)p(yQ-1/x1)p(y0/xq-1)p(y1/xq-1)p(yQ-1/xq-1)p00p01p0,Q-1p10p11p1,Q-1pq-1,0pq-1,1p

15、q-1,Q-13.2.1 3.2.1 数学模型数学模型 若信道中有干扰若信道中有干扰,信道输出不是一个固定值信道输出不是一个固定值,是概率各异的一组值是概率各异的一组值,称有扰离散信道称有扰离散信道.输入输入X Xi i时时,各可能输出值各可能输出值y yj j的概率之和必得的概率之和必得1,1,即即:p(jyix)j0Q-113.2.1 3.2.1 数学模型数学模型3.3.离散输入连续输出信道离散输入连续输出信道 设信道输入符号是有限、离散的设信道输入符号是有限、离散的,其输入字其输入字符集符集 X0 x,1x.r-1x信道输出信道输出)(s-,Y称离散输入称离散输入,连续输出信道连续输出信

16、道.即即 又称半离散或半连续信道。又称半离散或半连续信道。3.2.1 3.2.1 数学模型数学模型4.4.波形信道波形信道 若输入是模拟波形，输出也是模拟波形则为若输入是模拟波形，输出也是模拟波形则为波形信道波形信道.若分析性能的理论极限多选用离散输入若分析性能的理论极限多选用离散输入,连续输出的连续输出的信道模型。信道模型。选择何种模型取决于我们目的选择何种模型取决于我们目的.从工程上讲从工程上讲,最常用的最常用的DMCDMC信道或信道或BSCBSC信道信道.3.2.1 3.2.1 数学模型数学模型3.2.2 信道容量 在单符号离散信道中，平均每个符号传送的信息量定义为信道的信息传输率。从统

17、计角度而言，信道的噪声总是有限的，总有部分信息能够准确传输，所以信道的信息传输率为3.2.2 3.2.2 信道容量信道容量RI(X;Y)互信息量 是输入符号X 概率分布的凸函数。对于一个给定的信道，总是存在某种概率分布 ，使得传输每个符号平均获得的信息量最大，即对于每个固定的信道总是存在一个最大的信息传输速率，这个最大信息传输速率定义为信道容量。);(YXI)(xp什么是信道容量？什么是信道容量？3.2.2 3.2.2 信道容量信道容量定义 3-1 设某信道的平均互信息量为 ，信道输入符号的先验概率为 ，该信道的信道容量C 定义为 比特/符号 p(xai)0,i1,2,rp(ai)1i1r);

18、(max)(YXICxp);(YXI)(xp先验概率分布先验概率分布 应当满足下列条件应当满足下列条件3.2.2 3.2.2 信道容量信道容量 对于给定信道，条件转移概率p(bjai)是一定的，所以信道容量就是在信道的前向概率一定的情况下，寻找某种先验概率分布p(x)，使得平均互信息量最大,这种先验分布概率为最佳分布。3.2.2 3.2.2 信道容量信道容量 如果信道输入满足最佳分布，信息传输率最大，即达到信息容量C；如果信道输入的先验分布不是最佳分布，那么信息传输率不能够达到信息容量C。信道传输的信息量R必须小于信道容量C,否则传输过程中会造成信息损失，出现错误；反之，如果RC成立，可以通过

19、信道编码方法保证信息能够几乎无失真地传送到接收端。3.2.2 3.2.2 信道容量信道容量 1.无干扰离散信道 这类信道是理想信道。输入、输出符号之间是确定性关系，可以根据输入或者输出划分为互不相交的集合。这类信道在实际通信系统中较少，在数据压缩系统中，可以使用这类模型进行研究。根据信道输入符号X与信道输出符号Y之间的关系，可以分为下了几种信道。3.2.2 3.2.2 信道容量信道容量 无噪无损信道 该信道的输入、输出集合符号数量相等，输入X与输出Y之间是一一对应。对于给定ai,由于p(bjai)只有一个为1，其余都为0，所以H(XY)=0,则(a)无噪无损信道模型 X Y 1 1 1 1 3

20、.2.2 3.2.2 信道容量信道容量I(X;Y)H(X)-H(X|Y)H(X)H(Y)根据信道容量的定义，信道容量就是平均互信息量的最大值，根据极大熵定理可知，当输入符号的先验概率为等概率分布时，H(X)取得最大值 ,信道容量为 比特比特符号符号 所以当输入信源满足等概率分布时，信息传输所以当输入信源满足等概率分布时，信息传输率最大，达到信道容量。这类信道的前向概率矩率最大，达到信道容量。这类信道的前向概率矩阵和后验概率矩阵是相等的，都是阵和后验概率矩阵是相等的，都是r rr r单位矩阵，单位矩阵，3.2.2 3.2.2 信道容量信道容量logrC maxp(x)I(X;Y)maxp(x)1

21、rH(X)logrP(Y|X)Irr 无噪有损信道 信道输出符号Y 集合的数量小于信道输入符号 X集合的数量，即rs，形成多对一的映射.X Y 1 1 1 1 (b)无噪有损信道无噪有损信道 3.2.2 3.2.2 信道容量信道容量 这类信道的特点是，信道概率转移矩阵中每行只有一个非零元素.接收到符号接收到符号Y Y后后,不能确定信道输入不能确定信道输入X X ，即不，即不能够完全消除能够完全消除X X的不确定性，所以的不确定性，所以H H(X(XY)Y)0 0，且且H H(X)(X)H H(Y),I(X;Y)=H(Y).(Y),I(X;Y)=H(Y).信道容量为信道容量为3.2.2 3.2.

22、2 信道容量信道容量sYHYXIClog)(max);(max10100101)|(XYP3.2.2 3.2.2 信道容量信道容量X Y 1 1 1 1 (b)无噪有损信道无噪有损信道 有噪无损信道 信道输出符号Y集合的数量大于信道符号X集合的数量,即rs,形成一对多的映射关.由于一对多的映射关系,不能由输入完全确定信道的输出,H(XY)0，H(X)H(Y),I(X;Y)=H(X).X Y 0.4 0.6 0.7 0.3 (c)有噪无损信道 信道的容量为信道的容量为)/(log)(max);(max)()(符号比特rxHYXICxpxp3.2.2 3.2.2 信道容量信道容量 当信道输入为等概

23、率输入时，I(X;Y)=H(X)才能取得最大值，所以先验概率的最佳分布就是使得 p(aj)=1/r 的分布。这类信道的特点是，信道概率转移矩阵中每列只有一个非零元素.3.07.000006.04.0P(Y X)3.2.2 3.2.2 信道容量信道容量 2.对称离散信道的信道容量 对称离散无记忆信道是最简单的信道之一，1）输入对称信道容量 定义 3-2:如果信道转移概率矩阵中所有行矢量都是第一行的某种置换，则称信道关于输入是对称的，这种信道称为输入对称离散信道。例如，信道转移矩阵为9.01.01.09.0P3.2离散单符号信道及容量1.06.03.01.03.06.0P)|()|()|(21ra

24、YHaYHaYH-sjijijiabpabpaYH1)|(log)|()|(3.2离散单符号信道及容量又比如信道转移矩阵又比如信道转移矩阵YH(YHX()ia即条件熵即条件熵H H(Y|X)(Y|X)与信道输入的符号无关。与信道输入的符号无关。因此，输入对称信道的容量为)(21sppp，C maxp(ai)I(X;Y)maxp(ai)H(Y)-H(p1,p2,ps)3.2离散单符号信道及容量为了表示方便起见，假设转移矩阵首行元素为为了表示方便起见，假设转移矩阵首行元素为则有则有 H(Y|ai)H(p1,p2,ps)由于由于 I(X;Y)H(Y)-H(Y|X)H(Y)-H(p1,p2,ps)所以

25、输入对称信道的容量就是找到一种分布，所以输入对称信道的容量就是找到一种分布，使得信道输出的熵最大。使得信道输出的熵最大。【例 3.2-1】信道的转移矩阵为 求该信道的容量。解 设信道输入的概率空间为 1.06.03.01.03.06.0P-ppaaxpX1)(213.2离散单符号信道及容量 信道输出的概率分布为 取得极值的条件为1.0)1(1.01.0)(3.06.0)1(6.03.0)(3.03.0)1(3.06.0)(321-ppbppppbppppbp)(log)()(log)()(log)()(332211bpbpbpbpbpbpYH-(0.30.3p)log(0.30.3p)(0.6

26、-0.3p)log(0.6-0.3p)0.1log0.10)(dpYdH 解上述方程可以得到取极值的条件为P=0.5，即当信道输入为等概率分布时，H(Y)取得最大值，所以 369.1)(maxYH符号比特/296.11.0log1.03.0log3.06.0log6.0-3.2离散单符号信道及容量C maxp(ai)H(Y)-H(Y|X)0.073该信道的容量为该信道的容量为 H(Y|X)H(Y|a1)-p(bj|ai)logp(bj|ai)j1s而应当首先假设信道输入分布，然后解决极值问题45.0)(1bp45.0)(2bp1.0)(3bpp(b1)1/s1/33.2离散单符号信道及容量此时

27、信道输出的概率分布为此时信道输出的概率分布为 所以，当信道只是输入对称时，信道容量不能所以，当信道只是输入对称时，信道容量不能简单认为是简单认为是C maxp(ai)H(Y)-H(Y|X)logs-H(Y|X)上次课内容 3.1信道分类3.2离散单符号信道及容量3.2.1数学模型3.2.2信道容量 1.无干扰离散信道 2.对称离散信道的信道容量 1)输入对称信道1、信道的作用：把携有信息的信号从它的输入端传递到输出端。信道最重要特征参数是信息传递能力，即信道容量.2、什么是信道容量？互信息量I(X,Y)是输入符号X 概率分布的凸函数对于一个给定的信道，总是存在某种概率分布p(xi),使得传输每

28、个符号平均获得的信息量最大，即对于每个固定的信道总是存在一个最大的信息传输速率，这个最大信息传输速率定义为信道容量。);(max)(YXICxp 1.无干扰离散信道 无噪无损信道符号比特/log)(max);(max1)()(rXHYXICrxpxp无噪有损信道无噪有损信道有噪无损信道有噪无损信道 X Y 0.4 0.6 0.7 0.3 )/(log)(max);(max)()(符号比特rxHYXICxpxp符号比特/log)(max);(max)()(sYHYXICxpxp2、对称离散信道的信道容量1 1）输入对称信道容量）输入对称信道容量 如果信道转移概率矩阵中如果信道转移概率矩阵中所有行

29、矢量都是所有行矢量都是第一行的某种置换第一行的某种置换，这种信道称为输入对称离，这种信道称为输入对称离散信道。散信道。C maxp(ai)I(X;Y)maxp(ai)H(Y)-H(p1,p2,ps)3.2.2 信道容量 2）输出对称信道容量 3）准对称信道容量 4）对称DMC信道容量 5）一般离散信道的容量 3.3 离散序列符号信道及容量 3.4 信源与信道的匹配 3.5*连续信道及其容量本次课内容 2）输出对称信道容量 定义：如果信道转移概率矩阵中所有列矢量都是 第一列的某种置换，则称信道是关于输出 对称离散信道。105.05.001P2.07.01.07.01.02.01.02.07.0P

30、3.2离散单符号信道及容量例如：信道转移矩阵例如：信道转移矩阵 都是输出对称信道。都是输出对称信道。和和输出对称信道容量：输出对称信道容量：C maxP(ai)I(X,Y)maxP(ai)H(Y)-H(Y|X)logs-minp(ai)H(Y|X)若信道输出对称，则当信道输入符号等概率分若信道输出对称，则当信道输入符号等概率分布时布时,信道输出也是等概率分布的。信道输出也是等概率分布的。P(bj)p(ai)p(bji1r|ai)1rp(bj|ai)i1r1s信道输出符号的熵为信道输出符号的熵为sYHlog)(3.2离散单符号信道及容量 由于信道转移矩阵是已知的，H(YX)可以使用下列公式3.2

31、离散单符号信道及容量 只要能够求出使得上式取得最小值的信道输只要能够求出使得上式取得最小值的信道输入概率分布，即可求出信道容量入概率分布，即可求出信道容量H(Y|X)-p(ai)H(Y|ai)i1r4 4）对称信道容量）对称信道容量若转移概率矩阵若转移概率矩阵 P每一行都是第一行的转置每一行都是第一行的转置,称矩阵是输入对称称矩阵是输入对称.若若每一列都是第一列的转置每一列都是第一列的转置,称称矩阵是输出对称矩阵是输出对称.若输入输出都对称若输入输出都对称,称对称称对称DMCDMC信道。信道。例例 3131616161613131216131312161613121和和 对称信道对称信道3.2

32、离散单符号信道及容量 P31613161616131317.01.02.01.02.07.0和和 不对称不对称 3.2离散单符号信道及容量 对称信道的容量:由于对称信道是关于输入对称，而输入对称信道的容量为3.2离散单符号信道及容量C maxp(ai)I(X,Y)maxp(ai)H(Y)-H(Y|X)且满足且满足H(Y|X)H(Y|ai)与信道输入的分布无关，只与条件概与信道输入的分布无关，只与条件概率分布有关率分布有关.H(Y|X)为了讨论问题方便起见，假设信道转移矩阵第一行为了讨论问题方便起见，假设信道转移矩阵第一行中，各元素对应的条件概率分别为中，各元素对应的条件概率分别为(p p1 1

33、,p,p2 2.p.ps s)，有有:对称信道输出也是对称的，当信道输入是等概率分布时，信道输出也是等概率分布,取得最大值sYHiaplog)(max)(3.2离散单符号信道及容量 H(Y|X)H(p1,p2,ps)则对称信道容量则对称信道容量),(log),(max21)(sappppHsYXICi-对称信道的信道容量只与信道的对称信道的信道容量只与信道的转移矩阵中的行矢量和输出符号集合转移矩阵中的行矢量和输出符号集合的数量有关。如果希望信息传输率达的数量有关。如果希望信息传输率达到信道容量，信道输入应当满足等概到信道容量，信道输入应当满足等概率分布。率分布。【例 3.2-2】设某信道转移矩

34、阵为 求信道容量 解：由信道转移矩阵可知，矩阵的第二行是第一行的置换，每一列都是第一列的置换，所以信道是对称的，所以信道容量为3131616161613131P),(log21spppHsC-)61,61,31,31(4logH-3.2离散单符号信道及容量 【例 3-3】假设信道的输入、输出符号数相等，都等于r,且信道条件转移矩阵为 求:信道容量。解:显然该信道是对称的，信道容量为-prprprpprprprppP111111111)1,1,1(log-rprppHrC3.2离散单符号信道及容量1log1)1()1log()1(log-rprprppr 上述信道称为强对称信道或者是均匀信道，是

35、对称信道的一个特例。一般信道转移矩阵中，列元素之和并不等于1，而该信道转移矩阵的各列元素之和都等于1。)(1pHC-3.2离散单符号信道及容量216131312161613121当当r r=2=2时，信道容量为时，信道容量为C logr-H(p)-plog(r-1)3）准对称信道容量 定义 3-4：如果信道转移矩阵按列可以划分为几 个互不相交的子集，每个子矩阵满 足下列性质：(1)每行都是第一行的某种置换；(2)每列都是第一列的某种置换。称该信道为准对称信道。3.2离散单符号信道及容量 或者说：每一行都是第一行元素的不同排列，每一列并不都是第一列元素的不同排列，但可按着信道矩阵的列将信道矩阵划

36、分成若干个子矩阵。称这类信道为准对称信道。8.01.01.01.01.08.0p1.01.0,8.01.01.08.01pp例：例：可划分成两个对称矩阵可划分成两个对称矩阵准对称矩阵3.2离散单符号信道及容量 准对称信道是关于输入对称的，可以使用输入对称信道的方法直接求解.输入对称信道的容量为：),()(max21)(sappppHYHi-3.2离散单符号信道及容量准对称信道的容量准对称信道的容量:由于信道输入不一定存在一种分布使得信道输由于信道输入不一定存在一种分布使得信道输出满足等概率分布出满足等概率分布,所以准对称信道的信道容量满所以准对称信道的信道容量满足下列关系足下列关系 可以证明，

37、准对称信道信道输入的最佳分布是等概率分布，信道容量为-nkkksMNpppHrC121log),(log3.2离散单符号信道及容量 其中其中p p1 1,p,p2 2,p ps s为准对称信道转移矩阵中的为准对称信道转移矩阵中的一行元素一行元素,n n为划分的子集数量为划分的子集数量,N Nk k为第为第k k个子矩阵的个子矩阵的行元素之和行元素之和,M Mk k为第为第k k个子矩阵的列元素之和。个子矩阵的列元素之和。定理 3-1：准对称离散信道的信道容量是在 信道输入为等概率分布时达到的。3.2离散单符号信道及容量 上式为准对称信道容量计算公式，而到达信上式为准对称信道容量计算公式，而到达

38、信道容量的信道输入最佳概率分布由下列定理确定。道容量的信道输入最佳概率分布由下列定理确定。-nkkksMNpppHrC121log),(log【例 5.2-4】设某信道的转移矩阵为求：信道容量。解：从该信道转移矩阵可以看出，该信道是一个准对称信道，可以分解为 -qpqppqqpP11-qpppqpP111qqP2qMqMqNqN2,1,12121-3.2离散单符号信道及容量是两个互不相交的子集，而每个子集都是对称信道是两个互不相交的子集，而每个子集都是对称信道形式，对应参数分别为形式，对应参数分别为N1N1为第为第1 1个子矩阵的行元个子矩阵的行元素之和素之和M M1 1为第为第1 1个子矩阵

39、个子矩阵的列元素之和的列元素之和 由准对称离散信道的信道容量计算公式-qqqqP10013.2离散单符号信道及容量称该信道为二元纯对称删除信道，其信道容量为称该信道为二元纯对称删除信道，其信道容量为 qqqqpqqpH2log)1log()1(),1(2log-qqqpqppp-12log)1()1log()1(log 如果如果p=0p=0，则，则-qpqppqqpP11-nkkksMNpppHrC121log),(log3.2离散单符号信道及容量 1-q a1 b1 q b2 q a2 b3 1-q 图3-4二元纯对称删除信道-qqqqP1001 【例 3.2-5】信道转移矩阵为 求：信道容

40、量。解：该信道是准对称信道，可以分解为三个互不相交的子集，分别为P1313161616131613P113161613,P21313,P316163.2离散单符号信道及容量对应的参数分别为3.2离散单符号信道及容量信道容量为信道容量为P113161613,P21313,P3161661,31,216131321NNN 316161,323131,216131321MMM 31log6132log3121log21)61,61,31,31(2log-H =0.041比特/符号-nkkksMNpppHrC121log),(log3.一般离散信道的容量 从信道容量的定义知，信道容量是在信道给定的情况

41、下，即信道转移矩阵一定条件下，从信道所有可能输入概率分布中寻找一种最佳分布，使得信道输入、输出之间的平均互信息量最大，即，使得信道的输入概率分布与信道匹配。3.2离散单符号信道及容量 对于一般离散信道，首先假设信道的输入概率分布，根据信道容量的定义和输入概率分布的约束条件，直接求解极值,即可得到最佳分布；然后根据最佳分布计算信道输入、输出之间的平均互信息量，既得到信息容量。如果信道输入、输出符号数量较少，这种方法是可行的。3.2离散单符号信道及容量 【例 3-6】信道转移矩阵为 8.02.01.09.0P3.2离散单符号信道及容量求求:信道输入最佳分布和信道容量信道输入最佳分布和信道容量 。解

42、解:由信道转移矩阵知由信道转移矩阵知,信道不对称的信道不对称的,信道的输入、输出符号数量都为信道的输入、输出符号数量都为2.2.设输入符号的概率为设输入符号的概率为p p,1-p,1-p。先求出信道输出概率颁布先求出信道输出概率颁布p(bp(bj j).).由公式pppbppppbp7.08.0)1(8.01.0)(7.02.0)1(2.09.0)(21-3.2离散单符号信道及容量P(bj)p(ai)p(bji1r|ai)P0.90.10.20.8Xq(X)x1x2p1-p将相关参数带入上述计算公式，得到；3.2离散单符号信道及容量8.02.01.09.0Ppppbppppbp7.08.0)1

43、(8.01.0)(7.02.0)1(2.09.0)(21-对p求导，得到最佳分布415.0);(maxYXIC3.2离散单符号信道及容量比特比特符号符号得到得到,p=0.532 p=0.532，所以信道容量为，所以信道容量为 从上例可以看出，即使是简单的非对称二元信道，其最佳分布的求解也十分复杂，不借用计算机很难求出最佳分布，所以一般离散信道的信道容量的求解要通过计算机来进行。下面讨论一般离散信道的解法。3.2离散单符号信道及容量 一般离散信道容量的计算由于 的上凸函数，故极大值存在。并且 要满足非负且归一化的条件，因此，求信道容量归结为求有约束极值的问题。为了书写方便，记 。现求 在约束 下

44、的极值。利用拉格朗日乘子法，求函数 的极值。计算 并使其为0 并考虑到 ，)();(xpYXI为()p xjijjiijiqpppYXI,log);(0,1iiipp-iipYXIJ)1();(kJp1rjiijiqp p pip(xi),pijp(yj|xi),qjq(yj)得：所以，有 记 因为 ，所以 Jpkpkpipijlogpij-qjlogqj-(pi-1)iji,jlog(loglog)0kjkjkjjkjjjpppqpe-loglogkjkjjjppeq(;)log1,.,kjkkjjjpI a Ypkrq(;)(;)kkkp I a YI X Y(;)logkkkCp I a

45、 Yeloglog(log)ijijijijijjjjjjppCppp CqqloglogjjijjijijjjCqppp令log21log21jjjjCjjjjCqCq-2jCjq-iiijijpppq 定理 3-2 设有一般离散信道,它有r个输入个符号，s个输出符号，其平均互信息I(X,Y)达到 极大值（即等于信道容量）的充要条件是 输入概率分布p(ai)满足ri,2,13.2离散单符号信道及容量 常数常数C C就是所求的信息容量。就是所求的信息容量。其中CYaIi);(对所有0)(iap的ia );(YaIiC 对所有0)(iap的ia 上述定理只是给出了达到容量时，信道输入符号分布的充

46、要条件，并不能给出信道的最佳概率分布，即,没有给出信道容量的计算公式。另，达到信道容量的最佳分布一般不是唯一的，只要输入分布满足概率的约束条件，并且使得I(X,Y)达到最大值即可。所以一般情况下，根据上述定理求解信道容量和信道输入的最佳概率分布还是十分复杂的。对于某些特殊信道，可以使用上述定理求解信道容量。3.2离散单符号信道及容量 【例3-7】设某信道的转移矩阵为9.01.0031313101.09.0)|()|()|()|()|()|()|()|()|(333231232221131211abpabpabpabpabpabpabpabpabpP3.2离散单符号信道及容量求求;该信道容量和信

47、道输入的最佳概率分布。该信道容量和信道输入的最佳概率分布。解:该信道不能直接使用对称信道计算其信道容量 若信道输入符号的概率p(a2)=0,该信道就是一个二元纯对称删除信道。就可以假设 p(a1)=p(a3)=1/2,然后检查是否满足定理3-2的条件,如果满足就可以计算出信道容量9.01.0031313101.09.0)|()|()|()|()|()|()|()|()|(333231232221131211abpabpabpabpabpabpabpabpabpP3.2离散单符号信道及容量首先求出p(bj)45.0)|()()(1.0)|()()(45.0)|()()(313331223111i

48、iiiiiiiiabpapbpabpapbpabpapbp3.2离散单符号信道及容量9.01.0031313101.09.0)|()|()|()|()|()|()|()|()|(333231232221131211abpabpabpabpabpabpabpabpabpPp(ap(a1 1)=p(a)=p(a3 3)=1/2,)=1/2,p p(a(a2 2)=0)=0计算互信息量45.0)(1.0)(45.0)(321bpbpbp3.2离散单符号信道及容量9.01.0031313101.09.0P 该输入概率分布满足定理该输入概率分布满足定理3-23-2的条件的条件,信道容量为信道容量为C C

49、=0.9,=0.9,对应的信道输入最佳概率分布为对应的信道输入最佳概率分布为(0.50.5,0,0.5)0,0.5)CYaIi);(对所有0)(iap的ia);(YaIiC 对所有0)(iap的ia 3.3离散序列符号信道及容量 前面讨论了输入和输出都是单个随机变量的信道及其容量，分析了对称信道、准对称信道、一般离散信道的信道容量和信道最佳概率分布的计算方法。实际中，信道输入、输出常常是离散随机序列。离散序列信道的一般模型见图3.3离散序列符号信道及容量图图3-5 3-5 离散序列信道模型离散序列信道模型 对于无记忆离散序列信道，设序列长度为N，则信道转移概率可以简化为 如果信道是平稳的，则信

50、道转移概率可以进一步简化为 p(YX)=)(xypN3.3离散序列符号信道及容量 讨论无记忆离散信道：设信道输入符号取自于符号集 信道输出符号取自于符号集 信道转移矩阵为 raaa,21sbbb,213.3离散序列符号信道及容量)()()()()()()()()(212222111211rsrrssabpabpabpabpabpabpabpabpabpP设序列长度为N，信道输入序列记作 i=(ai1,ai2,.air)i=1，2，rN，信道输出序列记作j=(bj1,bj2.bjs)j=1，2，sN，由于信道输入共有rN种可能取值,信道输出有sN种可能取值,所以N次扩展信道的转移概率矩阵为rNs