1、第六章第六章 有噪信道编码定理有噪信道编码定理 第一节第一节 错误概率与译码规则错误概率与译码规则第二节第二节 错误概率与编码方法错误概率与编码方法第三节第三节 有噪信道编码定理有噪信道编码定理第四节第四节 联合信源信道编码定理联合信源信道编码定理1第六章第六章 有噪信道编码定理有噪信道编码定理 前一章已经从理论上讨论了，对于无噪无前一章已经从理论上讨论了，对于无噪无损信道只要对信源进行适当的编码，总能以信道损信道只要对信源进行适当的编码，总能以信道容量无差错的传递信息。但是一般信道总会存在容量无差错的传递信息。但是一般信道总会存在噪声和干扰，那么在有噪信道中进行无差错传输噪声和干扰，那么在有
2、噪信道中进行无差错传输可以达到的最大信息传输率是多少呢？这就是本可以达到的最大信息传输率是多少呢？这就是本章所要讨论的问题。本章的核心是香农第二定理。章所要讨论的问题。本章的核心是香农第二定理。第一节第一节 错误概率与译码规则错误概率与译码规则 为了减少错误，提高通信的可靠性，就必须为了减少错误，提高通信的可靠性，就必须分析错误概率与哪些因素有关，有没有办法控制，分析错误概率与哪些因素有关，有没有办法控制，能控制到什么程度。能控制到什么程度。前边已经讨论过，错误概率与信道的统计特前边已经讨论过，错误概率与信道的统计特性有关，但并不是唯一相关的因素，译码方法的选性有关，但并不是唯一相关的因素，译
3、码方法的选择也会影响错误率。择也会影响错误率。例：设一个二元对称信道，其传输特性如图所示。例：设一个二元对称信道，其传输特性如图所示。一般二元对称信道输出端的译码器是将接收一般二元对称信道输出端的译码器是将接收到符号到符号“0 0”译成发送的符号为译成发送的符号为“0 0”，接收到符，接收到符号号“1 1”译成发送的符号为译成发送的符号为“1 1”。如果仍按照此译码器的译码规则，那么当发送符号为如果仍按照此译码器的译码规则，那么当发送符号为“0 0”，接收到符号仍为，接收到符号仍为“0 0”,则译码器译为符号则译码器译为符号“0 0”，为正确译码，因此对发送符号为正确译码，因此对发送符号“0
4、0”来说，译对的可来说，译对的可能性只有能性只有1/31/3；o 而当发送符号为而当发送符号为“0 0”，接收到符号却是，接收到符号却是“1 1”则译成符则译成符号号“1 1”，为错误译码，则译错的概率是，为错误译码，则译错的概率是2/32/3。因为信。因为信道对称，对发送符号道对称，对发送符号“1 1”来说，译错的概率也是来说，译错的概率也是2/32/3。在此译码规则下，平均错误概率在此译码规则下，平均错误概率o (假设输入端符号是等概率分布假设输入端符号是等概率分布)32)1()0()1()0(eeEPPPPPo 反之，若根据这个特殊信道定出另一种译码反之，若根据这个特殊信道定出另一种译码
5、规则规则:将输出端接收符号将输出端接收符号“0 0”译成符号译成符号“1 1”，将输出端接收符号将输出端接收符号“1 1”译成符号译成符号“0 0”则译错的可能性就减少了，为则译错的可能性就减少了，为1/31/3；而译对；而译对的可能性增大了，为的可能性增大了，为2/32/3。o 可见，错误概率既与信道的统计特性有关，可见，错误概率既与信道的统计特性有关，也与译码的规则有关。也与译码的规则有关。现在我们来定义译码规则。现在我们来定义译码规则。o 设离散单符号信道的设离散单符号信道的 输入符号集为输入符号集为 A=aA=ai i ，i=1,2,i=1,2,r,r；输出符号集为输出符号集为 B=b
6、B=bj j,j=1,2,j=1,2,s,s。制定译码规则就是设计一个函数制定译码规则就是设计一个函数F(bF(bj j)，它对于每一个输出符号它对于每一个输出符号 b bj j确定一个唯一的输确定一个唯一的输入符号入符号a ai i与其对应与其对应(单值函数单值函数)。即。即o (i=1,2,(i=1,2,r)(j=1,2,r)(j=1,2,s),s)ijabF)(o 有一离散单符号信道，信道矩阵为有一离散单符号信道，信道矩阵为 o 根据这样一个信道矩阵，设计一个译码规则根据这样一个信道矩阵，设计一个译码规则A A，也，也可以设计另外一个译码规则可以设计另外一个译码规则B B 由于由于s s
7、个输出符号中的每一个都可以译成个输出符号中的每一个都可以译成r r个输入个输入符号中的任何一个，所以共有符号中的任何一个，所以共有r rs s 种译码规则可供选种译码规则可供选择。择。4.05.02.03.03.03.03.02.05.0P332211)()()(:abFabFabFA233211)()()(:abFabFabFBo 译码规则的选择应该根据什么准则译码规则的选择应该根据什么准则?一个很一个很 自然的准则当然就是自然的准则当然就是要使平均错误概率为最小要使平均错误概率为最小。为。为了选择译码规则，首先必须计算平均错误概率。了选择译码规则，首先必须计算平均错误概率。o 在确定译码规
8、则在确定译码规则F(bF(bi i)=a)=ai i 后，若信道输出端接收后，若信道输出端接收到的符号为到的符号为b bi i，则一定译成，则一定译成 a ai i，如果发送端发送的，如果发送端发送的就是就是a ai i，这就为正确译码；如果发送的不是，这就为正确译码；如果发送的不是a ai i，就，就认为是错误译码。那么，收到符号认为是错误译码。那么，收到符号b bi i条件下译码条件下译码的条件正确概率为的条件正确概率为)/(/)(jijjbaPbbFPo 令令 为为条件错误概率条件错误概率，其中，其中e e表示除了表示除了F(bF(bi i)=a)=ai i 以外的所有输入符号的集合。以
9、外的所有输入符号的集合。条件错误概率与条件正确概率之间有关系。条件错误概率与条件正确概率之间有关系。o 经过译码后的平均错误概率经过译码后的平均错误概率P PE E应是条件错误概率应是条件错误概率 对对Y Y空间取平均值。即空间取平均值。即 o 它表示经过译码后平均接收到一个符号所产生的错误它表示经过译码后平均接收到一个符号所产生的错误大小，也称大小，也称平均错误概率平均错误概率。)/(jbePjjjijbbFPbaPbeP/)(1)/(1)/()/(jbeP)/()()/(1jsjjjEbePbPbePEP“最大后验概率准则最大后验概率准则”或或“最小错误概率准则最小错误概率准则”o 设计这
10、样一种译码函数设计这样一种译码函数 可使平均错误概率最小。可使平均错误概率最小。o 因为我们一般是已知信道的传递概率因为我们一般是已知信道的传递概率 与与输入符号的先验概率输入符号的先验概率 ，所以根据贝叶斯定律，所以根据贝叶斯定律，上式可写成上式可写成 )/(ijabP)(iaP*)(abFj*),/()/(aaAabaPbaPiijij)()()/()()()/(*jiijjjbPapabPbPapabPo 一般一般P(bP(bi i)0,)0,这样，最大后验概率准则就可表示为：这样，最大后验概率准则就可表示为：选择译码函数选择译码函数 使满足使满足 o 若输入符号的先验概率若输入符号的先
11、验概率 均相等，则上式可写成均相等，则上式可写成选择译码函数选择译码函数o 并满足并满足 o 这样定义的译码规则称为这样定义的译码规则称为最大似然译码准则最大似然译码准则。在输入符。在输入符号号等概率等概率时，这两个译码准则是等价的。根据最大似然时，这两个译码准则是等价的。根据最大似然译码准则我们可以直接从信道矩阵的传递概率中去选定译码准则我们可以直接从信道矩阵的传递概率中去选定译码函数。就是说，收到译码函数。就是说，收到b bi i后，译成信道矩阵后，译成信道矩阵P P的第的第j j列列中最大那个元素所对应的信源符号。中最大那个元素所对应的信源符号。*)(abFj)()/()()/(*iij
12、japabPapabP)(iaP)/()/(*ijjabPabP*)(abFjo 最大似然译码准则最大似然译码准则本身不再依赖于先验概率。本身不再依赖于先验概率。但是当先验概率为但是当先验概率为等概率分布等概率分布时，它使错误时，它使错误 概率概率P PE E最小。最小。(注意：注意：如果先验概率不相等或不如果先验概率不相等或不知道时，仍可以采用这个准则，但不一定能使知道时，仍可以采用这个准则，但不一定能使P PE E最小最小)。根据译码准则，进一步可写出平均错误概率，即根据译码准则，进一步可写出平均错误概率，即YXYaXYjijjiYXYjjjijYjYYjjjjjEbaPbaPbaPbbF
13、PbaPbbFPbPbbFPbePbPP,*,*)()()()()()(1)(/)(1)/()(o 式中求和号式中求和号 表示对输入符号集表示对输入符号集A A中除中除a a*以外的以外的所有元素求和。上式也可以写成所有元素求和。上式也可以写成 上式的平均错误概率是在联合概率矩阵上式的平均错误概率是在联合概率矩阵 中先求每列除去中先求每列除去F(bF(bi i)=a)=a*所对应的所对应的P(aP(a*b bj j)以外所以外所有元素之和，然后再对各列求和。当然，我们也有元素之和，然后再对各列求和。当然，我们也可以在矩阵中先对行求和，除去译码规则中可以在矩阵中先对行求和，除去译码规则中F(bF
14、(bi i)=)=a a*所对应的所对应的 P(P(a a*b bj j););然后再对各行求和。然后再对各行求和。*aX)()/(*,iaXYijEaPabPP)()(ijiabPaPo 因此上式还可以写成因此上式还可以写成o 其中令其中令 。就是某个输入符号就是某个输入符号a ai i传输所引起的错误概率。传输所引起的错误概率。XieiXYjijiXaYijiEPaPabFabPaPabPaPPj)(*b)()()/()()/()(*对应的YjijieabFabPP)()/(*)()(iePo 接前例接前例 有一离散单符号信道，信道矩阵为有一离散单符号信道，信道矩阵为 o 根据最大似然译码
15、准则可选择译码函数为根据最大似然译码准则可选择译码函数为B B在在输入等概率分布输入等概率分布时采用译码函数时采用译码函数B B可使信道平均错误概率可使信道平均错误概率最小。最小。4.05.02.03.03.03.03.02.05.0P233211)()()(:abFabFabFB)/()/(*ijjabPabP*)(abFj*,11()0.20.3)(0.30.3)(0.20.4)0.56733jEiY XabPPao 若选用前述译码函数若选用前述译码函数A A则得平均错误概率则得平均错误概率可见可见332211)()()(:abFabFabFA*,11()(0.20.3)(0.30.3)(
16、0.20.5)0.60033jEiY XabPPaEEPP o 若输入不是等概分布，其概率分布为若输入不是等概分布，其概率分布为o 根据最大似然译码准则仍可选择译码函数为根据最大似然译码准则仍可选择译码函数为B B，计算其平均错误概率。，计算其平均错误概率。o 但采用最小错误概率译码准则，它的联合概但采用最小错误概率译码准则，它的联合概率矩阵为率矩阵为600.0)4.03.0(21)3.02.0(41)2.03.0(41)()(XieiEPaPP2.015.015.0125.0075.005.005.0075.0125.0)(jibaP21)(41)(41)(321aPaPaP，o 所以得译码
17、函数为所以得译码函数为o 计算平均错误概率计算平均错误概率o 可见，此时可见，此时 。所以，输入不是等概。所以，输入不是等概分布时最大似然译码准则的平均错误概率不分布时最大似然译码准则的平均错误概率不是最小。是最小。333231)()()(abFabFabFC：50.0021141141)(50.0)125.005.0()075.0075.0()05.0125.0()()()(*XieiYaXijiEPaPabPaPPEEPP o 例题：有一离散信道，信道矩阵为，例题：有一离散信道，信道矩阵为，假如信道输入消息符号的概率分别为：假如信道输入消息符号的概率分别为：请分别用最大后验概率译码准则和最
18、大请分别用最大后验概率译码准则和最大似然译码准则确定译码函数，并计算其相应的似然译码准则确定译码函数，并计算其相应的平均错误概率。平均错误概率。216131312161613121P41)()(,21)(321apapap解：（解：（1）最大后验概率译码准则）最大后验概率译码准则（2）最大似然译码准则）最大似然译码准则费诺不等式费诺不等式o PE和信道疑义度和信道疑义度H(X/Y)的关系的关系)log()()/(1rPPHYXHEE第二节 错误概率与编码方法 一般信道传输时都会产生错误，而选择译码一般信道传输时都会产生错误，而选择译码准则并不会消除错误，那么如何减少错误概率呢？准则并不会消除错
19、误，那么如何减少错误概率呢？下边讨论通过编码方法来降低错误概率。下边讨论通过编码方法来降低错误概率。01010.990.990.010.01例：对于如下二元对称信道例：对于如下二元对称信道20.0110EP 如何提高信道传输的正确率呢？如何提高信道传输的正确率呢？可以尝试用下面的方法可以尝试用下面的方法没有使用没有使用的码字的码字001010011100101110用作消息用作消息的码字的码字000111输出端接收输出端接收序列序列000001010011100101110111二元对称信道的二元对称信道的三次扩展信道三次扩展信道则：3222222332222223pp pp pppp ppp
20、pppPpppppp pppp pp pp根据最大似然译码准则，可得译码函数为：根据最大似然译码准则，可得译码函数为：F(000)=000 F(001)=000 F(010)=000 F(011)=111F(100)=000 F(101)=111 F(110)=111 F(111)=1113*4()(/)3 10EijiY C aPPP 此时，译码可以采用此时，译码可以采用“择多译码择多译码”，即根据接收序列中，即根据接收序列中0 0多还是多还是1 1多，多，0 0多就判作多就判作0 0，1 1多就判作多就判作1 1。错误概率降低了两。错误概率降低了两个数量级，这种编码可以纠正码字中的一位码元
21、出错。若个数量级，这种编码可以纠正码字中的一位码元出错。若重复多次可进一步降低错误率。重复多次可进一步降低错误率。但是又出现了一个新的问题，但是又出现了一个新的问题，n n很大时，信息很大时，信息传输率会降低很多，我们把编码后的传输率会降低很多，我们把编码后的信息传输率信息传输率表示为：表示为：logMRn 在上例中：在上例中：M=2M=2当当n=1n=1时时 R=1 R=1 比特比特码符号码符号当当n=3n=3时时 R=1/3 R=1/3 比特比特码符号码符号当当n=5n=5时时 R=1/5 R=1/5 比特比特码符号码符号.n.n越大，越大，P PE E越低越低,信息传输率信息传输率R R
22、越低越低.这显然是一个矛盾，有没有解决的办法呢？香农第二定这显然是一个矛盾，有没有解决的办法呢？香农第二定理可以解决这一问题。理可以解决这一问题。我们分析前边的例子，我们只用了扩展信源的两个字符，我们分析前边的例子，我们只用了扩展信源的两个字符，因此信息率降低了，如果我们把因此信息率降低了，如果我们把8 8个字符全用上，信息传输个字符全用上，信息传输率就会回到率就会回到1 1，但是此时错误概率为，但是此时错误概率为3 3*1010-2-2 ，比单比单符号时还大三倍。我们可以总结如下：在二元信道的符号时还大三倍。我们可以总结如下：在二元信道的n n次扩次扩展信道中，选取其中的展信道中，选取其中的
23、M M个作为消息，则个作为消息，则M M大一些，大一些，P PE E 跟着跟着大，大，R R也大也大;M;M小一些小一些,P,PE E 跟着小，跟着小，R R也小。也小。如果在上例中，取如果在上例中，取M M4 4，如：取，如：取000 011 101 110000 011 101 110为消息，其他的不用，则为消息，其他的不用，则 则与则与M=8M=8比较，错误率降低了，而信息率也降低了。比较，错误率降低了，而信息率也降低了。222 103EPR 还存在另外一个问题，还存在另外一个问题，M=4M=4时，有时，有7070种选取方法，而种选取方法，而选取方法不同，错误率也不同。我们比较下面两种选
24、取方选取方法不同，错误率也不同。我们比较下面两种选取方法：第一种：法：第一种：000 011 101 110000 011 101 110 第二种：第二种：000 001 010 100000 001 010 100 可以计算得第一种方法的错误率为可以计算得第一种方法的错误率为2 2*1010-2-2 第二种方法的错误率为第二种方法的错误率为2.282.28*1010-2-2 比较可知，第一种方法好，仔细观察发现，在第一种比较可知，第一种方法好，仔细观察发现，在第一种方法中，如果方法中，如果000000有一位出错，我们就可以判定出错了；而有一位出错，我们就可以判定出错了；而在第二种方法中，如果
25、在第二种方法中，如果000000中任何一位出错，就变成了其他中任何一位出错，就变成了其他的合法的码字，我们无法判断是否出错。再仔细观察，发的合法的码字，我们无法判断是否出错。再仔细观察，发现第二种方法中，码字之间太现第二种方法中，码字之间太“象象”了，或者说太了，或者说太“近近”了。了。我们再讨论一个例子，取我们再讨论一个例子，取M M4 4，n n5 5，这时，这时信道的信息传输率为：信道的信息传输率为：这这4 4个码字按如下规则选取：个码字按如下规则选取：设输入序列为设输入序列为:12345()iiiiiiaaaaaa满足方程：满足方程：31241512iiiiiiiiaaaaaaaa若译
26、码采取最大似然准则：若译码采取最大似然准则：25R 000000000100010001000000001000100001000100011011010110001111010010110100101111011110001110101111011010101100111011111111001110011010100110101101111000111101101010010010100101111001 此码能纠正所有码字中一位码元错误，也能纠正其中两此码能纠正所有码字中一位码元错误，也能纠正其中两个两位码元的错误。个两位码元的错误。543252EPpp pp p5432411(52)7
27、.8 10EEPPpp pp p 我们引进这样一个概念：我们引进这样一个概念：汉明距离汉明距离。在二元码中：在二元码中：1(,)nijikjkkD 如：如：101111i111100j则(,)3ijD 在某一码书中，任意两个码字的汉明距离的最小值称为在某一码书中，任意两个码字的汉明距离的最小值称为该码该码C的最小距离的最小距离。minmin(,)ijijdD C CCC 码码A码码B码码C码码D码字码字000111000011101110000001010100000 001010 011100 101100 111消息数消息数M2448最小距离最小距离dmin3211信息传输率信息传输率R1
28、/32/32/31错误概率错误概率43*1022*1022.28*1023*10我们来讨论前边的我们来讨论前边的5种码的距离：种码的距离：很明显，很明显，越大，越大，P PE E 越小，在越小，在M M相同的情况下也是一样相同的情况下也是一样mind最小距离译码准则最小距离译码准则o 设信道输入端作为消息的码字为设信道输入端作为消息的码字为i i，长度为，长度为n n；输；输出端可能有的所有接收序列为出端可能有的所有接收序列为j j，长度为，长度为n n。最大似然译码准则可表述为：最大似然译码准则可表述为：o 若若i i和和j j之间的距离为之间的距离为d d(i i,j j)，简记为，简记为
29、d dijij，它表示传输过程中它表示传输过程中i i传输到传输到j j有有d dijij个位置发生了个位置发生了错误，错误，(n-(n-d dijij)个位置没有错误。设二元对称信道个位置没有错误。设二元对称信道的单个符号传输错误概率为的单个符号传输错误概率为p p，当信道是无记忆时，当信道是无记忆时，则编码后信道的传递概率为则编码后信道的传递概率为)(2211)/()/()/()/(ijijdndinjnijijijppabPabPabPP*)(jF)/()/(*ijjPPo 如果如果p p1/2(1/2(这是正常情况，例如这是正常情况，例如 p p=10=10-2-2 )，可以看出可以看
30、出d dijij越大，越大，P P(j j/i i)越小越小,d dijij越小，越小，P P(j j/i i)越大。越大。根据前式，根据前式，最大似然译码准则可用汉明距离表示为最大似然译码准则可用汉明距离表示为选择译码函数选择译码函数使满足使满足 即满足即满足 上式又称为上式又称为最小距离译码准则最小距离译码准则。在二元对称信道中最小距离译码准则等于最大在二元对称信道中最小距离译码准则等于最大似然译码准则。在任意信道中也可采用最小距离译似然译码准则。在任意信道中也可采用最小距离译码准则，但它不一定等于最大似然译码准则。码准则，但它不一定等于最大似然译码准则。*)(jF*),(),(ijijD
31、D*min*),(),(ijijDD 因此，在二元信道中最大似然译码准则可表述为：因此，在二元信道中最大似然译码准则可表述为：当收到当收到j j后，译成与之距离后，译成与之距离(汉明距离汉明距离)为最近的输入为最近的输入码字码字*，可使平均错误概率，可使平均错误概率P PE E达到最小。同时在达到最小。同时在M M和和n n不变的情况下，即保持一定信息传输率不变的情况下，即保持一定信息传输率R R的前提下，选的前提下，选择不同的编码方法，可取得不同的择不同的编码方法，可取得不同的D Dijij=D(=D(i i,j j)和和D D*j j=D D(*,j j)，而使，而使P PE E不同。不同
32、。因此，我们可以因此，我们可以选择这样的编码方法选择这样的编码方法：对选择的每：对选择的每一个码字一个码字*都与某一特定接收序列都与某一特定接收序列j j的距离尽可能近，的距离尽可能近，D D（*,j j）尽量小；又使其他码字尽量小；又使其他码字i i*与这接收与这接收序列序列j j 的距离尽可能地远，的距离尽可能地远，D(D(i i,j j)尽量大。换句尽量大。换句话说，应尽量设法使选取的话说，应尽量设法使选取的M M个码字中任意两两不同码个码字中任意两两不同码字的距离字的距离D(D(i i,j j)尽量大。这样就可做到保持一定信尽量大。这样就可做到保持一定信息传输率息传输率R R，而使，而
33、使P PE E尽可能的小。尽可能的小。o 综上所述，在有噪信道中，传输的平均错误综上所述，在有噪信道中，传输的平均错误概率概率P PE E与各种编、译码方法有关。与各种编、译码方法有关。编码可采编码可采用用选择选择M M个消息所对应的码字间最小距离个消息所对应的码字间最小距离d dminmin尽可能增大的编码方法，而尽可能增大的编码方法，而译码采用译码采用将接收将接收序列序列j j译成与之距离最近的那个码字译成与之距离最近的那个码字*的的译码规则，则只要码长译码规则，则只要码长n n足够长时，合适地足够长时，合适地选择选择M M个消息所对应的码字，就可以使错误个消息所对应的码字，就可以使错误概
34、率很小，而信息传输率保持一定。概率很小，而信息传输率保持一定。第三节第三节 有噪信道编码定理（香农第二定理）有噪信道编码定理（香农第二定理）1、有噪信道编码定理有噪信道编码定理 如一个离散无记忆信道，信道容量为如一个离散无记忆信道，信道容量为C C。当信息传输率当信息传输率RCRC时，只要码长足够长，总可以时，只要码长足够长，总可以在输入在输入 符号集中找到符号集中找到M M 个码字组成的一个码字组成的一组码组码 和相应的译码准则，使译码的平均和相应的译码准则，使译码的平均错误概率达到任意小。错误概率达到任意小。nX(2)nR(2,)nRn有噪信道编码定理证明方法中的基本思路有噪信道编码定理证
35、明方法中的基本思路o 允许平均错误概率任意小而非零，允许平均错误概率任意小而非零，o 连续使用信道许多次，即在连续使用信道许多次，即在n n次无记忆信道中讨论，以便次无记忆信道中讨论，以便使大数定律有效使大数定律有效.o 随机选取码书，在随机选取编码的基础上计算码的平均随机选取码书，在随机选取编码的基础上计算码的平均错误概率；因为随机选取，所以使概率对称；并由此证错误概率；因为随机选取，所以使概率对称；并由此证明至少有一种好码存在。明至少有一种好码存在。o 我们也采用与上述相同的基本思路，但主要的区别在于我们也采用与上述相同的基本思路，但主要的区别在于译码规则。我们在编码时，随机地选择输入端译
36、码规则。我们在编码时，随机地选择输入端典型序典型序列列x x作为码字，因为它们是在输入端作为码字，因为它们是在输入端X Xn n集中经常、高概率集中经常、高概率出现的序列。而在接收端出现的序列。而在接收端Y Yn n集中，对接收序列集中，对接收序列y y寻找与它寻找与它构成联合典型序列的那个码字。若只有惟一一个码字满构成联合典型序列的那个码字。若只有惟一一个码字满足此性质，则判定这码字为所发送的码字。根据上节所足此性质，则判定这码字为所发送的码字。根据上节所述的联合典型序列的性质，所发送的码字与接收序列述的联合典型序列的性质，所发送的码字与接收序列y y构构成联合典型序列的概率很高，它们之间是
37、高概率密切相成联合典型序列的概率很高，它们之间是高概率密切相关的。关的。2、有噪信道编码逆定理有噪信道编码逆定理 如一个离散无记忆信道，信道容量为如一个离散无记忆信道，信道容量为C C。当信息传输率当信息传输率RCRC时，则无论码长时，则无论码长n n多长，总找不多长，总找不到一种编码到一种编码 使信道输出端的平均错误译使信道输出端的平均错误译码概率达到任意小。码概率达到任意小。(2,)nRn 这个定理是信道编码的理论依据，可以看出：这个定理是信道编码的理论依据，可以看出：信道容量是一个明确的分界点，当取分界点以下的信信道容量是一个明确的分界点，当取分界点以下的信息传输率时，息传输率时，P P
38、E E以指数趋进于以指数趋进于0 0；当取分界点以上的；当取分界点以上的信息传输率时，信息传输率时，P PE E 以指数趋进于以指数趋进于1 1；因此在任何信道；因此在任何信道中，信道容量都是可达的、最大的可靠信息传输率。中，信道容量都是可达的、最大的可靠信息传输率。这个定理是一个存在定理，它没有给出一个这个定理是一个存在定理，它没有给出一个具体可构造的编码方法，在它的证明过程中，码书是具体可构造的编码方法，在它的证明过程中，码书是随机的选取的，随机的选取的，当当n很大时，这码书构成的码表就非很大时，这码书构成的码表就非常庞大，也就无法实用和实现。尽管如此，信道编码常庞大，也就无法实用和实现。
39、尽管如此，信道编码定理仍然具有根本性的重要意义。定理仍然具有根本性的重要意义。它有助于指导各种它有助于指导各种通信系统的设计，有助于评价各种系统及编码的效率。通信系统的设计，有助于评价各种系统及编码的效率。第四节第四节 联合信源信道编码定理联合信源信道编码定理 从香农第一、第二定理可以看出，要做到有从香农第一、第二定理可以看出，要做到有效和可靠的传输信息，我们可以将通信系统设计效和可靠的传输信息，我们可以将通信系统设计成两部分的组合，即信源编码和信道编码两部分，成两部分的组合，即信源编码和信道编码两部分，首先通过信源编码，用尽可能少的信道符号来表首先通过信源编码，用尽可能少的信道符号来表达信源
40、，尽可能减少编码后信源的数据的剩余率，达信源，尽可能减少编码后信源的数据的剩余率，然后针对信道，对信源编码后的数据独立的进行然后针对信道，对信源编码后的数据独立的进行信道编码，适当增加一些剩余度，使能纠正和克信道编码，适当增加一些剩余度，使能纠正和克服信道中引起的错误和干扰。服信道中引起的错误和干扰。我们可以证明，只要满足香农第一定理和我们可以证明，只要满足香农第一定理和第二定理，用两步编码的方法传输信息和一步编第二定理，用两步编码的方法传输信息和一步编码的方法传输信息其效果是一样的。码的方法传输信息其效果是一样的。第六章作业o 6.1；6.5；6.8o 设某二元码为C=10010，01001，11100，00111，则码组间的最小距离为 ，此码最多能发现 个独立随机错误，或者最多能纠正 个独立随机错误。若采用最小距离译码准则，则接收序列01100译为 ，接收序列10000译为 。
