1、1第三章信道与信道容量3.1 信道的基本概念3.2 离散信道的容量及计算3.3 离散序列信道及其容量3.4 独立并联信道及其容量3.5 串联信道容量及数据处理定理3.6 连续信道及其容量3.7 信源与信道的匹配23.1 信道的基本概念 信道是传送信息的载体（信号所通过的通道）。信息是抽象的，信道则是具体的。信道的作用在信息系统中用于传输与存储信息，而在通信系统中则主要用于传输。33.1 信道的基本概念3.1.1 信道的数学模型与分类 3.1.2 信道参数 3.1.3 信道容量定义 43.1.1 信道的数学模型与分类1、信道的分类 信道可以从不同角度加以分类，常用的有下面几种分类。从工程物理背景
2、传输介质类型。从数学描述方式信号与干扰描述方式。从信道本身的参数类型恒参与变参。从用户类型单用户与多用户。53.1.1 信道的数学模型与分类传输介质类型信号与干扰类型信道参量类型用户类型63.1.1 信道的数学模型与分类图3-1 信道分类举例其中：C1为连续信道，调制信道；C2为离散信道，编码信道；C3为半离散、半连续信道；C4为半连续、半离散信道。73.1.1 信道的数学模型与分类2、信道模型 （1）调制信道模型 调制信道是为研究调制与解调问题所建立的一种广义信道，它所关心的是调制信道输入信号形式和已调信号通过调制信道后的最终结果，对于调制信道内部的变换过程并不关心。具有如下共性：有一对（或
3、多对）输入端和一对（或多对）输出端。绝大多数的信道都是线性的，即满足线性叠加原理。信号通过信道具有一定的延迟时间而且它还会受到（固定的或时变的）损耗。即使没有信号输入，在信道的输出端仍可能有一定的功率输出（噪声）。83.1.1 信道的数学模型与分类 图3-2 调制信道模型两端信道模型，输入输出关系为：（3-1）其中，为输入的已调信号；为信道总输出波形；为加性噪声，与 相互独立，无依赖关系。表示已调信号通过网络所发生的（时变）线形变换。现在，我们假定能把 写为 ，其中，依赖于网络的特性，是一种乘性干扰。于是上式可以表示为:（3-2）oi()()()e tf e tn ti()e to()e t(
4、)n to()e t()n ti()f e ti()f e ti()()k te t()k toi()()()()e tk te tn t93.1.1 信道的数学模型与分类 由以上分析可知，信道对信号的影响可归结为两点：一是乘性干扰，二是加性干扰 。实际的物理信道中，根据信道传输函数 的时变特性的不同可以分为两大类：一类是 基本不随时间变化，即信道对信号的影响是固定的或变化极为缓慢的，这类信道称为恒定参量信道，简称恒参信道；另一类信道是传输函数 随时间随机速快变化，这类信道称为随机参量信道，简称随参信道。()k t()n t()k t()k t()k t103.1.1 信道的数学模型与分类 （
5、2）编码信道模型 编码信道包括调制信道、调制器和解调器，是一种数字信道或离散信道。由于信道噪声或其他因素的影响，将导致输出数字序列发生错误，因此输入、输出数字序列之间的关系可以用一组转移概率来表征。二进制数字传输系统的一种简单的编码信道模型如图3-3所示：图3-3 二进制编码信道模型 113.1.1 信道的数学模型与分类 输出的总的错误概率为：由于信道噪声或其他因素影响导致输出数字序列发生错误是统计独立的，根据无记忆编码信道的性质可以得到下式：图3-4给出了一个无记忆多进制编码信道模型。(0)(1 0)(1)(0 1)eppppp(0|0)1(1|0)pp(1|1)1(0|1)pp 图3-4
6、多进制无记忆编码信道模型 123.1 信道的基本概念3.1.1 信道的数学模型与分类 3.1.2 信道参数 3.1.3 信道容量定义 133.1.2 信道参数1.信道疑义度 输入信源X的熵：(3-3)是在接收到输出Y 以前，关于输入变量X 的先验不确定性的度量，所以称为先验熵。一般信道中有干扰（噪声）的存在，已知输入变量X的概率分布为 ；而当接收到输出符号 后，输入符号的概率分布发生了变化，变成后验概率分布 。那么，接收到输出符号 后，关于X的平均不确定性为:(3-4)条件熵：(3-5)这个条件熵称为信道疑义度。11()()log()log()()riiXiH Xp ap xp xp a()H
7、 X()p xjyb(|)jp x bjyb111(|)(|)log(|)log(|)(|)rjijjiXijjH X bp abp x bp abp x b11111,1(|)(|)()(|)()(|)log(|)11 (|)log()log(|)(|)ssrjjjjijjjiijrsijijX YijH XYEH Xbp bH Xbp bp abp abp abp xyp abp xy143.1.2 信道参数 2平均互信息 已知代表接收到输出符号 以前关于输入变量X的平均不确定性，而 代表接收到输出符号后关于输入变量X的平均不确定性。（3-6）称为X和Y之间的平均互信息。它代表接收到输出符
8、号后平均每个符号获得的关于X的信息量。它也表明，输入与输出两个随机变量之间的统计约束程度。根据式（3-3）和式（3-5）得 （3-7）式中，X是输入随机变量，；Y是输入随机变量，。()H X(|)H X Y(;)()(|)I X YH XH X Y(;)I X Y,11(;)()log()log()(|)11()log()log()(|)XX YX YX YI X YP xp xyp xp x yp xyp xyp xp x y,(|)()log ()X Yp y xp xyp yxXyY153.1.2 信道参数 互信息 是代表收到某消息y后获得关于某事件x的信息量，即 （3-8）对于平均互信
9、息 （3-9）它是互信息 的统计平均值，所以平均互信息 永远不会取负值。最差情况是平均互信息 ，也就是在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量。(;)I x y(|)()(|)(;)logloglog()()()()p x yp xyp y xI x yp xp x p yp y(;)(;)XYI X YE I x y()(;)XYp xy I x y(|)()log()XYp x yp xyp x(;)I x y(;)I X Y(;)0I X Y 163.1.2 信道参数 3平均条件互信息 设三个离散概率空间X，Y，Z，且有概率关系式 xXyYzZ()1XYZp xyz
10、()(),()(),()(),ZYXp xyp xyzxX yYp xzp xyzxX zZp yzp xyzyY zZ()()()()()()()()()YZXZXYp xp xyp xzxXp yp xyp yzyYp zp xyp yzzZ （3-10）（3-11）（3-12）173.1.2 信道参数 图3-5 三个概率空间连接关系图(|)(;)log(|)()(|)loglog(|)()()p xyzI x y zp xzp xy zp yxzp yzp x z p y z（3-13）已知事件的条件下，接收到y后获得关于某事件x的条件互信息 zZ将式（3-13）和式（3-8）比较可以得
11、到下面结论：条件互信息与互信息的区别仅在于先验概率和后验概率都是在某一特定条件下的取值。183.1.2 信道参数 已知 ，后，总共获得关于的互信息，即(|)(;)log()p x yzI x yzp x(|)(|)(|)(|)logloglog()(|)()(|)p x y p x yzp x yp x yzp x p x yp xp x y(;)(;|)I x yI x z y （3-14）yYzZxX此关系式表明，yz联合给出关于x的互信息量等于y给出关于x的互信息量与y已知条件下z给出关于x的互信息量之和。(;)(;)(;|)I x yzI x zI x y z （3-15）(|)(;)
12、(;)()log(|)XYZp x yzI X Y ZE I x y zp xyzp x z(|)(|)H X ZH X ZY(|)()log(|)(|)XYZp xy zp xyzp x z p y z(|)(|)(|)H X ZH Y ZH XY Z()(;)(;)()log()XYZp x yzI X YZE I x yzp xyzp x （3-16）而平均互信息为 （3-17）193.1.2 信道参数 (;)(;)(;)I X YZI X YI X Z Y(;)(;)I X ZI X Y Z （3-18）平均互信息(;)I X YZ是随机变量X与联合变量YZ之间统计依赖程度的信息测度。
13、例3 3-1 1 设信源 通过一干扰信道，接收符号为 ，信道传递概率如图3-6所示。求：（1）信源X中事件 和 分别含有的自信息。（2）收到消息 (j=1,2)后，获得的关于 （i=1，2）的信息量。（3）信源X和信源Y的信息熵。（4）信道疑义度 和 噪声熵。（5）接收到信息Y后获得的平均互信息。12()0.60.4Xxxp x12,yy y1x2xjyix(|)H X Y(|)H Y X图3-6 二元信道传递概率203.1.2 信道参数 解：（1）信源 12()0.60.4Xxxp x事件1x含有的自信息为 122()log()log 0.60.737bitI xp x 事件2x含有的自信息
14、为 222()log()log 0.41.32bitI xp x （2）根据题意是计算(;)ijI x y i=1，2；j=1，2115(|)6p yx211(|)6p yx123(|)4p yx221(|)4p yx(|)(|)(;)loglog()()ijjiijijp xyp yxI x yp xp y i=1，2；j=1，2()()(|)jijiXp yp x p yx()(|)(|)()ijiijjp x p yxp xyp y j=1，2 i=1，2；j=1，2(|)ijp xy()jp y要计算出必须先算出，所以，计算互信息时一般选用第二个等式进行计算，可得 213.1.2 信道
15、参数 11534()()(|)0.60.4645iiXp yp x p yx2111()0.60.4645p y12()()1p yp y满足11111(|)5 625(;)logloglog0.059bit()4 524p yxI x yp y21122(|)1 65(;)logloglog0.263bit()1 56p yxI x yp y 12211(|)3 415(;)logloglog0.093bit()4 516p yxI xyp y 22222(|)1 45(;)logloglog0.322bit()1 54p yxI xyp y（3）信源X的信息熵223.1.2 信道参数 21
16、()()log()0.6log0.60.4log0.40.971bit symboliiiH Xp xp x 21()()log()0.8log0.80.2log0.20.722bit symbo liijH Yp yp y （4）信道疑义度2211(|)()(|)log(|)ijiijijH X Yp x p yxp xy 11111165()(|)5106(|)4()85p x p yxp xyp y21221143()(|)3104(|)4()85p xp yxp xyp y121122()(|)1(|)()2p x p yxp xyp y222222()(|)1(|)()2p xp y
17、xp xyp y 11111212211211222222(|)()(|)log(|)()(|)log(|)()(|)log(|)()(|)log(|)655433611411 loglogloglog1068104810621042 H X Yp x p yxp xyp xp yxp xyp x p yxp xyp xp yxp xy 0.339 00.42450.10.1 0.9635bit symbol233.1.2 信道参数 噪声熵221111111121212121222222(|)()(|)log(|)()(|)log(|)()(|)log(|)()(|)log(|)()(|)lo
18、g(|)655 log106ijijiijH Y Xp x p yxp yxp x p yxp yxp x p yxp yxp xp yxp yxp xp yxp yx 611433411logloglog6106610441044 0.13150.25850.12450.2 0.7145bit symbol（5）接收到信息Y后获得的平均互信息(;)I X Y22112211(|)(;)()(|)log()()(|)()(|)()(|)(;)0.007 5bit symbolijijiijiijiijijp xyI X Yp x p yxp xH XH X YH YH Y Xp x p yx
19、I x y243.1 信道的基本概念3.1.1 信道的数学模型与分类 3.1.2 信道参数 3.1.3 信道容量定义 253.1.3 信道容量的定义 信道的信息传输率就是平均互信息，即(;)()(|)RI X YH XH X Y（比特/符号）（3-19）信道中平均每个符号所能传送的信息量，平均每个符号所能传送的信息量，即信道的信息传输率R。若平均传输一个符号需要t秒钟，则信道每秒钟平均传输的信息量为111(;)()(|)tI X YH XH X YRttt（bit/s）（3-20）一般称此为信息传输速率。263.1.3 信道容量的定义 (;)I X Y()p x定理3 3-1 1 平均互信息是
20、输入信源概率分布的型上凸函数。定义这个最大的信息传输速率为信道容量C，即()max(;)P xCI X Y（3-21）其单位是比特/符号或奈特/符号，而相应的输入概率分布称为最佳输入分布。若平均传输一个符号需要t秒钟，则信道单位时间为平均传输的最大信息量为()1max(;)tP xI X YCt（bit/s）（3-22）27第三章信道与信道容量3.1 信道的基本概念3.2 离散信道的容量及计算3.3 离散序列信道及其容量3.4 独立并联信道及其容量3.5 串联信道容量及数据处理定理3.6 连续信道及其容量3.7 信源与信道的匹配283.2 离散信道的容量及其计算 3.2.1 无干扰离散信道 3
21、.2.2 对称离散无记忆信道容量 3.2.3 准对称离散无记忆信道容量3.2.4 一般离散无记忆信道容量 293.2.1 无干扰离散信道 考虑一个离散无干扰信道，其输入字符集是 ，输出字符集是 ，转移概率 如（3-23）式的定义，它由信道特征决定。若给定信道，即信道的转移概率已定，则对应于输入符号的概率分布 可以求出相应的信道传输信息 ，即011,qXx xx011,QYyyy(|)ijp yx()ipx(;)I X Y(|)()|ijjip YyXp yxx1-100()|(;)()()log|()qQjiijiijjp yxI X Ypp yxxp y（3-23）（3-24）10()()(
22、)()|qijjjiipp Ypp yxyyx（3-25）1-100()|max(;)max()()log|()qQjiijiijjp yxCI X Ypp yxxp y（3-26）303.2.1 无干扰离散信道 1-100()|max(;)max()()log|()qQjiijiijjp yxCI X Ypp yxxp y（3-26）C的单位是信道上每传送一个符号（每使用一次信道）所能携带的比特数，即比特/符号（bit/ymbol或bit/channel use）。()0ipx10()1qiipx（3-27）如不是以2为底而以e为底取自然对数时，信道容量的单位变为奈特/符号（nat/symb
23、ol）。如果已知符号传送周期是T（秒），也可以“秒”为单位来计算信道容量，此时sC TC，以比特/秒（bit/s）或奈特/秒（nat/s）为信道容量单位。(;)I X Y()(0,1)ipiqx011(),(),()xqpppxxxPxP 转移概率矩阵P P已知后，由式（3-26）计算离散无干扰信道容量的关键是能找出使最大的 的概率分布。若将定义为输入符号的概率矢量，由式（3-23）及关系式313.2.1 无干扰离散信道 (;)()(|)()(|)I X YH XH X YH YH Y Xmax(;)max()(|)max()(|)xxxCI X YH XH X YH YH Y XPPP可得（
24、3-29）（3-28）例3 3-2 2 一个离散无噪信道如下所示。其信道矩阵是单位矩阵，即100010001因为对于离散无噪信道有0(|)(|)(,1,2,3)1jiijijP yxP yxi jij(;)()()I X YI XI Y()()max()max()p xp yCH XH Y因此满足信道容量为323.2 离散信道的容量及其计算 3.2.1 无干扰离散信道 3.2.2 对称离散无记忆信道容量 3.2.3 准对称离散无记忆信道容量3.2.4 一般离散无记忆信道容量 333.2.2 对称离散无记忆信道容量 如果转移概率矩阵P P的每一行都是第一行的置换（包含同样元素），称该矩阵是输入对
25、称的。如果转移概率矩阵P P的每一列都是第一列的置换（包含同样元素），称该矩阵是输出对称的；如果输入、输出都对称，则称该离散无记忆信道（DMC）为对称的DMC信道。对称DMC信道具有如下性质：(|)H Y X(|)H YX(|),0,1,1iH Yiqx()()(|)log(|)(|)log(|)(|)iiijjijiijjjiH Y|XpppyyxxxppyyxxH Yx （1）对称信道的条件熵与信道输入符号的概率分布无关，且有 （2）当信道输入符号等概分布时，信道输出符号也等概分布；反之，若 信道输出符号等概分布，则输入符号必定也是等概分布。343.2.2 对称离散无记忆信道容量 （3）当
26、信道输入符号等概分布时，对称DMC信道达到其信道容量，为1log(|)loglogQiijijjCQH YQppx（3-30）(|)H Y Xmax()(|)max()(|)max()(|)xxxiiH YH Y XH YH YxH YH YxPPPmax()xH YP()logH YQmax()logH YQ由于对称信道的条件熵与信道输入符号的概率分布无关，式于是问题就简化为。由信息论原理，当输出符号集的各符 或者 这就是（3-30）式的来历。（3-29）转化成号等概出现时可得到最大信源熵，即（3-31）353.2.2 对称离散无记忆信道容量 1111336611116633 P1 1 1
27、1log4(,)0.082bit/symbol3 3 6 6CH例3 3-3 3 信道转移概率矩阵为，代入式（3-30）求得信道容量为363.2 离散信道的容量及其计算 3.2.1 无干扰离散信道 3.2.2 对称离散无记忆信道容量 3.2.3 准对称离散无记忆信道容量3.2.4 一般离散无记忆信道容量 373.2.3 准对称离散无记忆信道容量 kB12nBBB12nYBBBkBkM若信道矩阵M M的列可以划分成若干个互不相交的子集，即；，由为列组成的矩阵是对称矩阵，则称信道矩阵M M所对应的信道为准对称信道。121log(,)lognkkskCrH pppNM12(,)spppkNkMkSk
28、M 达到准对称离散信道容量的输入分布（最佳输入分布）是等概率分布，也可以计算准对称离散信道的信道容量为式中，r是输入符号集的个数，为准对称信道矩阵中的行元素。是第k个子矩阵中行元素之和，是第k个子矩阵中列（3-32）设矩阵可划分成n个互不相交的子集。(|)kkiyYp yxN(|)kiXp yxSkyY(1,2,)kn元素之和，即 （3-33）（3-34）当输入等概率分布时，式（3-33）和式（3-34）都与x无关。383.2.3 准对称离散无记忆信道容量 0.50.30.2=0.30.50.2P1()p x2()1p x 1y2y3y()()(|)ijijip x yp x p yx0.50
29、.30.20.3(1)0.5(1)0.2(1)()()jijip yp x y1()0.50.3(1)0.30.2p y2()0.30.5(1)0.50.2p y3()0.20.2(1)0.2p y3()p yix(;)()(|)()ln()()(|)ln(|)(0.30.2)ln(0.30.2)(0.50.2)ln(0.50.2)0.5ln0.50.3ln0.3jjijijjijI X YH YH Y Xp yp yp xp yxp yx (;)0I X Y0.2ln(0.30.2)0.20.2ln(0.50.2)0.201 2max(;)0.036bit/symbolCI X Y12()(
30、)0.4p yp y3()0.2p y例3 3-4 4 已知一个信道的信道转移矩阵为，求该信道的容量。解：由P P可看出信道的输入符号有两个，可设，信道的输出符号有三个，用，表示。由得联合概率的矩阵为恒定，与分布无关。由得393.2 离散信道的容量及其计算 3.2.1 无干扰离散信道 3.2.2 对称离散无记忆信道容量 3.2.3 准对称离散无记忆信道容量3.2.4 一般离散无记忆信道容量 403.2.4 一般离散无记忆信道容量 (;)()sX I X Ypa 式中，为拉格朗日乘子（待定常数）。解方程组（3-35）(;)()0()()()1siiXsXI X Ypappaapa（3-36）可先
31、求解出达到极值的概率分布和拉格朗日乘子的值，然后再求解出信道容量C。11(|)(;)()(|)log()rsjiijiijipbaI X Yppabapb1()()(|)rjijiipppbaba(|)log()ln()logeloge()()()jijjiijpbappbbPppaab111(|)(|)(|)log()(|)loge0()()srsjijijikjijkjjjppbabapppbaabappbb1,2,ir对都成立（）（3-37）413.2.4 一般离散无记忆信道容量 注意，式（3-37）中的对数是取任意大于1的数为底。1()(|)()rkjkjkpppabab1(|)1sj
32、ijpba1,2,ir又因为所以方程组式（3-36）变换成11(|)(|)logloge()()1sjijijjriipbapbapbpa（3-38）(;)I X Y12,rp pp ipip假设解得使平均互信息达到极值的输入概率分布是（简写成或P P）。然后把（3-38）中前r个方程式两边分别乘以达到，并求和得极值的输入概率11(|)(|)logloge()rsjijiiijjpbappbapblogeC现令（3-39）1(|)(;)(|)log()sjiijijjP baIYP baxP b（3-40）423.2.4 一般离散无记忆信道容量 (;)iIYxixaixa(;)iIYxix(;
33、)iIYCx(1,2,)ir式中，是输出端接收到Y后获得关于的信息量，即是对输出端Y平均提供的互信息。上式中对数取不同的底的值与有关。根据式（3-38）所以，对于一般离散信道有下述的定理。信源符号就得到相应不同的单位。一般来讲，和式（3-39）得(;)I X Yip()(;)0()(;)0iiiiiiaI x YCxpbI x YCxp对所有 其中对所有 其中C定理3 3-2 2 一般离散信道的平均互信息达到极大值（即等于满足（3-41）就是所求的信道容量。信道容量）的充要条件是输入概率分布这时123,Xx xx12,Yy y例3 3-5 5 设离散无记忆信道输入序列，输出序列，其信道转移矩阵
34、为100.50.501P求信道容量和最佳分布。433.2.4 一般离散无记忆信道容量 (|)p y x1()0.5p x2()0p x3()0.5p x(|)0H X Y 解：根据矩阵中元素的分布，可以设想最佳分布为，这样信道的输入和输出就构成了一一对应的。关系，如图3-8所示，接收方收到输出符号集Y中的某个元素后，对发送方发送的是输入符号集X中的哪个元素是完全确定的，即图3-8 取p(x2)=0时信道输入和输出的对应关系若 ，则接收方收到 中的某个符号后，关于发送的是中 的哪个符号就会增加不确定性，即 ，从平均互信息量的表达式可 看出，由于的 非负性，这样得到的平均互信息量就会减少，所以直观
35、地看，按设想的分布得到应取最大值。20p 12,Yy y123,Xx xx(|)0H X Y(;)()(|)I X YH XH X Y(|)H X Y443.2.4 一般离散无记忆信道容量 1122()()(|)0.5 10.5()()(|)0.5 10.5iiiiiip yp x p yxp yp x p yx 111222333(|)10(;)(|)log1 log0loglog2()0.50.5(|)0.50.5(;)(|)log0.5log0.5log0()0.50.5(|)01(;)(|)log0log1 loglog2()0.50.5jjjjjjjjjjjjp yxI x YP y
36、xp yp yxI x YP yxp yp yxI x YP yxp y 显然满足定理3-2的充要条件为 131322(;)(;)log2 ()0 ()0(;)0 ()0I x YI x Yp xp xI x Yp x故信道容量log21C bit/symbol。45第三章信道与信道容量3.1 信道的基本概念3.2 离散信道的容量及计算3.3 离散序列信道及其容量3.4 独立并联信道及其容量3.5 串联信道容量及数据处理定理3.6 连续信道及其容量3.7 信源与信道的匹配463.3 离散序列信道及其容量 图3-9 离散信道模型这种信道的传递概率满足12121(|)(|)(|)NNiNiiPPP
37、y yyyx xxxy x（3-43）1,rAaa1,sBbb设离散无记忆信道的输入符号集，输出符号集，信道矩阵为111212122212ssrrrsppppppppp=P且满足11sijjp(1,2,)ir473.3 离散序列信道及其容量 则此无记忆信道的N次扩展信道的数学模型如图3-10所示。图3-10 N次扩展信道12,NXXXXiX(1,2,)iNXNrYNs因为在输入随机序列中，每一个随机变量各取值于同一输入符号集A，而符号集A共有r个符号，所以随机矢量的可能取值个。同理，随机矢量的可能取值有个。根据信道无记忆的特性，可得N次扩展信道的信道矩阵111212122212NNNNNNss
38、rrr s(|)khkhP(1,2,1,2,),NNkhsr11Nskhh(1,2,)Nkr12Nkkkka aa1,ikraaa(1,)iN 12Nhhhhb bb1,ihrbbb(1,)iN 483.3 离散序列信道及其容量 12121(|)(|)(|)(1,2,1,2,)NNiikhkhhhkkkhNNNhkiPP b bba aaP bakrhs（3-44）根据平均互信息的定义，可得无记忆信道的N次扩展信道的平均互信息，即,(;)(;)()(|)()(|)(|)(|)()log()log()()NNNNNNNNNNNNkhhkkhkhXYXYkhII XYH XH XYH YH YXP
39、PPPPP X Y（3-45）1=,iNXXXX1=,iNYYYY1212,irisXAa aaYBb bb,iiiixX y Yx X y Y在图3-9所示的一般离散信道模型中，设，其中且有（1）当信道是无记忆的，即信道传递概率满足1(|)(|)NiiiPP yxy x1(;)(;)NiiiII X YX Y（3-46）（2）当信道的输入信源是无记忆的，即满足 1()()NiiPP xx（3-47）1(;)(;)NiiiII X YX Y（3-48）493.3 离散序列信道及其容量 （3）当信道和信源都是无记忆的时，即（3-43）和式（3-47）两条件都满足，有1(;)(;)NiiiII X
40、 YX Y（3-49）12()NX XXX(1,2,)iX iN若信道的输入序列中随机变量不但取自同一信源符号集，并且具有同一种概率分布，而且通过相同的信道传送到输出端（即信道传递概率分布不随i而改变，为时不变信道）因此有1122(;)(;)(;)(;)NNI X YI XYI XYI X Y1(;)(;)NiiiI X YNI X Y（3-50）式中，N是序列的长度。所以，对于此离散无记忆信道的N次扩展信道来说，则有(;)(;)INI X YX Y若输入信源也是无记忆的话，则有(;)(;)INI X YX Y（3-51）此式说明当信源是无记忆时，无记忆的N次扩展信道的平均互信息等于原来信道的
41、平均互信息的N倍。对于一般的离散无记忆信道的N次扩展信道，因为有1(;)(;)NiiiII X YX Y503.3 离散序列信道及其容量 所以其信道容量()()()11max(;)max(;)max(;)iNPNNiiiiPP xiiCII X YI X YxxX Y1NiiC（3-52）式中，令()max(;)iiiiP xCI X Y，这是某时刻i通过离散无记忆信道传输的最大信息量。NCNC （3-53）iX()P x此式说明离散无记忆的N次扩展信道的信道容量等于原单符号离散信道的信道容量的N倍。且只有当输入信源是无记忆的及每一输入变量，的时，才能达到这个信道容量NC。分布各自达到最佳分布
42、一般情况下，消息序列在离散无记忆的N次扩展信道中传输的信息量为(;)INCX Y（3-54）51第三章信道与信道容量3.1 信道的基本概念3.2 离散信道的容量及计算3.3 离散序列信道及其容量3.4 独立并联信道及其容量3.5 串联信道容量及数据处理定理3.6 连续信道及其容量3.7 信源与信道的匹配523.4 独立并联信道及其容量 图3-11 N个独立并联信道12,NXXX12,NY YY1122(|),(|),(|)NNp yxp yxp yxiYiX独立并联信道又称并用信道，也等价于时变的N次无记忆扩展信道。设有N，它们的输出分别是，它们。在这N个独立并联信道中，只与本信道的输入有关，
43、与其他信道输入、输出都个信道，它们的输入分别是的传递概率分别是每一个信道的输出无关。那么，这N个信道的联合传递概率满足12121122(|)(|)(|)(|)NNNNp y yyx xxp yx p yxp yx（3-55）相当于信道是无记忆时应满足的条件。因此，对于N个独立并联信道有121 21(;)(;)NNNiiiI X XXYYYI X Y（3-56）533.4 独立并联信道及其容量 式中，11,2,11()1max(;)NNNNNiP xxiCI XXYYCiC()max(;)iiiiP xCI X YiXiX1,2,1NNiiCC即联合平均互信息不大于各信道的平均互信息之和。因此得
44、独立并联信道的信道容量（3-57）是各个独立信道的信道容量，即所以，独立并联信道的信道容量不大于各个信道的信道容量之和。只有当输入符号相互独立，且输入符号的概率分布达到各信道容量的最佳（3-58）输入分布时，独立并联信道的信道容量才等于各信道容量之和，即54第三章信道与信道容量3.1 信道的基本概念3.2 离散信道的容量及计算3.3 离散序列信道及其容量3.4 独立并联信道及其容量3.5 串联信道容量及数据处理定理3.6 连续信道及其容量3.7 信源与信道的匹配553.5 串联信道容量及数据处理定理 12,ra aa12,sb bb12,tc cc(|)(|)jip y xp ba(|)(|)
45、kijp z xyp cab假设有以离散单符号信道，其输入变量为X，取值，输出变量Y，取值；并设另一离散单符号信道，其输入变量为Y，输出变量Z，取值。这两信道串联的传递概率是，而信道的传递概率起来，如图3-12所示。这两个信道的输入和输出符号集都是完备集。信道一般与前面的符号X和Y都有关，所以记为若信道的传递概率使其输出Z只与输入Y有关，与前面的输入X无关，即满足(|)(|)p z yxp z y()x,y,z对所有（3-59）称这两信道的输入和输出X，Y，Z序列构成马尔可夫链。12,ra aa12,tc cc这两个串联信道可以等价成一个总的离散信道如图3-13所示。其输入为X，取值，输出为Z
46、，取值，此信道的传递概率为(|)(|)(|)Yp z xp y x p z xy(,)xX yY zZ563.5 串联信道容量及数据处理定理 图3-12 串联信道 图3-13 等价的总信道 (|)(|)(|)r tr ss tp z xp y xp z xy（3-60）(|)(|)(|)Yp z xp y xp z y,xX yY zZ（3-61）(|)(|)(|)r tr ss tp z xp y xp z y（3-62）定理3 3-3 3 离散串联信道中，平均互信息满足(;)(;)I XY ZI Y Z(;)(;)I XY ZI X Z（3-63）（3-64）当且仅当对所有x，y，z，满足
47、(|)(|)p z xyp z y（3-65）或(|)(|)p z xyp z x（3-66）时，式（3-63）或式（3-64）中等号成立。573.5 串联信道容量及数据处理定理 证明 根据平均互信息的定义得,(|)(|)(;)()loglog()()X Y Zp z xyp z xyI XY Zp xyzEp zp z（3-67）,(|)(|)(|)(;)()log()loglog()()()Y ZX Y Zp z yp z yp z yI Y Zp yzp xyzEp zp zp z（3-68）在式（3-67）和式（3-68）中，E 都是对X，Y，Z三个概率空间求均值。所以得(|)(|)(
48、,)(,)loglog()()p z yp z xyI Y ZI XY ZEp zp z(|)log(|)p z yEp z xy（3-69）logx由于为形上凸函数，得,(|)(|)loglog(|)(|)(|)log()log()(|)(|)log()(|)log()log10X Y ZX Y ZX YZX Yp z yp z yEEp z xyp z xyp z yp xyzp xy p z yp z xyp xyp z yp xy583.5 串联信道容量及数据处理定理 因为已知(|)1Zp z xy(|)1Yp y x,()1X Yp xy()xXyYzZ及 所以可得(|)1Xp x
49、y(|)(|)ZZXp z yp xz y(|)(|)1XZp z xy p x y()yY (;)(;)I XY ZI Y Z （3-70）当且仅当(|)(|)p z xyp z y（对所有x，y，z）时，式（3-69）才等于零，因而式（3-70）的等号才成立。同理(;)(;)I XY ZI X Z（3-71）当且仅当(|)(|)p z xyp z x（对所有x，y，z都成立）时，等式成立。593.5 串联信道容量及数据处理定理 (;)(;)I X ZI X Y(;)(;)I X ZI Y Z定理3 3-4 4 若X、Y、Z组成一个马尔可夫链，则有 （3-72）（3-73）证明 首先证明式（
50、3-73）。因为X、Y、Z是马尔可夫链，所以满足(|)(|)p z xyp z y（对所有x，y，z）；则定理3-3中等式成立，得(;)(;)I XY ZI Y Z而又因式（3-71）成立，所以得(;)(;)I X ZI Y Z其中等式成立的条件是(|)(|)p z xyp z x（对所有x，y，z）（3-74）再证（3-72）。因为X、Y、Z是马尔可夫链，可证得Z、Y、X也是马尔可夫链，所以有(|)(|)p x yzp x y（对所有x，y，z）（3-75）运用与定理3-4同样的证明方法，可得(;)(;)I ZY XI Y X（3-76）603.5 串联信道容量及数据处理定理 当且仅当(|)
