1、2023-1-301第3章 信道容量2023-1-302本章主要内容n3.1信道的数学模型与分类信道的数学模型与分类n3.2单符号离散信道的信道容量单符号离散信道的信道容量n3.3 多符号离散信道的信道容量多符号离散信道的信道容量n3.4 连续信道及其容量连续信道及其容量n3.5 信道编码定理信道编码定理2023-1-3033.3 多符号离散信道的信道容量n多符号离散信道多符号离散信道（DMCDMC的的N N次扩展信道次扩展信道 ）nDefDef：输入输出都是：输入输出都是长为长为N N的多符号离散消息的多符号离散消息，这样，这样的信道称为多符号离散信道。的信道称为多符号离散信道。n设信源设信
2、源X XN N：n信宿信宿Y YN N：n则则N N次扩展信道的转移概率矩阵为次扩展信道的转移概率矩阵为),(21nxxxX),(21myyyYNNXXXX21)|(ijNpNNmjni,.2,1,.2,1NNYYYY21输入信道的第i条消息信道输出的第j条消息)(21iNiiixxxjNjjyy 1YX2023-1-304n多符号信道的转移信道概率：多符号信道的转移信道概率：)/()/()/()/()/()/()/(2111211NNNNNnmnnmNNppppppXYp其中其中NkikjkiNjNijNijiNijNjijxypxypxypxypxxyypp1221111)/()/()/(
3、)/()/()()/(无记忆2023-1-305n例：设例：设BSCBSC信道如图信道如图3.5(a)3.5(a)，X=(xX=(x1 1,x,x2 2)=(0,1),)=(0,1),Y=(yY=(y1 1,y,y2 2)=(0,1),)=(0,1),求求2 2次扩展信道的转移概率矩阵。次扩展信道的转移概率矩阵。n解：解：BSC BSC 信道的转移概率矩阵为信道的转移概率矩阵为 2次扩展信道的转移概率次扩展信道的转移概率为为ppppp对称对称 11,1001,0011,1001,0042.1,)/()/()/()/(424143231322212121112441432313222121211
4、12221121yyyyyyyyxxxxxxxxjixyxypxyppijijkikjkij同理令其中pp2023-1-306n则则22222222141312121211111211121111)0/1()0/1()00/11()/()0/0()0/1()00/10()/()0/1()0/0()00/01()/()0/0()0/0()00/00()/()/()/()/(ppppppppppppppppppppppppPpppppppppppppppppppppppxypxypxxyypp的值，得，同理可求出其余各行形成转移矩阵的第一行说明：说明：若单符号离散信道是对称的，则形成的若单符号离散
5、信道是对称的，则形成的N N次扩展信道也是对称的。次扩展信道也是对称的。2023-1-307单符号无记忆信源的单符号无记忆信源的N N次扩展信道次扩展信道n单符号无记忆信源的单符号无记忆信源的N N次扩展信道次扩展信道：可以看作可以看作是一种是一种特殊的特殊的多符号信道，而多符号信道多符号信道，而多符号信道是各个输入信源是各个输入信源X Xi i都取自同一集合都取自同一集合X X，并联，并联的各个输出信宿的各个输出信宿Y Yj j都取自同一集合都取自同一集合Y,Y,这样这样的的N N个信道的并联。个信道的并联。)/(11XYp)/(22XYp)/(NNXYp1Y2YNY1X2XNX)(21NN
6、XXXX)(21NNYYYY单符号无记忆信源的单符号无记忆信源的N N次扩展信道的数学模型次扩展信道的数学模型2023-1-308N N次扩展信道的信道容量次扩展信道的信道容量n因此因此N N次扩展信道的信道容量按照信道容量的次扩展信道的信道容量按照信道容量的定义式，为：定义式，为：n例：分别用例：分别用定义式定义式求上题的二次扩展信道的求上题的二次扩展信道的容量容量n解解：因为：因为对称对称，所以，所以miNmiNHmHYHClog)(max次扩展信道2023-1-309n代入代入N N次扩展信道容量的定义式次扩展信道容量的定义式CppHppppppppppppppppppppppppppp
7、HxYHmCiNN2),(22log2log2log)1(22log2log)1(22log)1(2)21(22log2loglog2log2log2),(2log)/(log222222222，NCCNDMCN:次扩展信道容量的推广：对称NC次扩展信道NC2023-1-3010单符号无记忆信源的单符号无记忆信源的N N次扩展信道次扩展信道nN N次扩展信道的容量次扩展信道的容量C C：各信道输入：各信道输入Xi都取自都取自同一集合同一集合X，各信道输出，各信道输出Yj都取自同一集合都取自同一集合Y，则每个并联信道的容量：则每个并联信道的容量：NC次扩展信道NCCYYX是相同的，都是每个单符号
8、信道的容量次扩展信道的iiXN2023-1-3011独立并联信道的信道容量n独立并联信道独立并联信道的容量的容量C C：若是：若是N N个独立单符个独立单符号离散信道的并联，各信道输入号离散信道的并联，各信道输入X Xi i和输出和输出Y Yj j分别取自不同集合，则分别取自不同集合，则信道容量信道容量为为niiCC1max并个信道的容量的第为转移概率分布为其中iXYPCiii)/(2023-1-3012独立并联信道的信道容量独立并联信道的信道容量n多个独立的单符号信道多个独立的单符号信道的的并联并联信道的数学信道的数学模型。模型。)/(11XYp)/(22XYp)/(NNXYp1Y2YNY1
9、X2XNX)(21NNXXXX)(21NNYYYY独立并联信道的数学模型独立并联信道的数学模型2023-1-3013因此：单符号无记忆信道的因此：单符号无记忆信道的N次扩展信道是一种次扩展信道是一种特殊的独立并联信道。特殊的独立并联信道。NCCY,11niNiniiNCCCXCC次扩展信道次扩展信道都是相同的，都是每个信道的容量每个输出都取自每个信道的输入都取自2023-1-3014几种组合信道的容量的求解n串联信道串联信道 n串联信道的容量串联信道的容量C C串依据串依据P P求解。求解。P P2023-1-3015n和信道：n和信道的容量其中：Ci为第i个信道的容量 NiCiC12P P2023-1-3016Thank You!
