1、现代通信原理现代通信原理第第6 6章章 编码技术编码技术本章学习要求：了解：单个消息的信息量度量方式 掌握：模拟信源、离散信源发出消息所携带的平均信息量熵的计算公式和方法 掌握：通信的两个主要技术指标有效性和可靠性 掌握：香农公式 了解：源编码和信道编码的概念 了解：改善系统两大指标的措施压缩信源消息中的冗余来提高有效性以及增加冗余码元来提高可靠性 掌握：两种最佳信源编码方法，即霍夫曼编码和香农范诺编码法 了解：通过汉明码和循环码阐明信道的可靠性编译码思路及过程6 61 1 信源编码信源编码 6 61 11 1 信息的度量信息的度量 1.信源的不肯定度就是信源提供的信息量；信源的不肯定度越高，
2、信宿得到的信息量就越大。2.设信源发出某消息 的概率为 ，用 表示消息 提供信息量，则定义：=称 为消息 的自信息量.6112 离散信源的平均信息量熵 1.信源熵-信源输出一个消息所提供的平均信息量，即信源的不肯定度.2.对 于 二 元 离 散 信 源，若 出 现 0、1 的 概 率 分 别为 ，那么，该信源的熵为：iX)(iP)(ixIiX)(1logiP)(ixI)(ixIiXPP)0(PP1)1()1(log)1(log)(222PPPPxH只有当 时，取最大值，即 。当或 时，取最小值0。3.具有N个符号的离散独立信源中，即当N个各符号的出现概率P=时，该信源的熵 取最大值 =（bit
3、）4.结论：在无干扰情况下，收信者从信源输出的每个消息中得到的平均信息量，等于信源每个消息所提供的平均信息量，也等于信源的不肯定度 ；当信道存在于扰时，收信者从收到的每个消息中得到的平均信息量将小于信源每个消息提供的平均信息量，或者说小于信源的不肯定度 。)(2xH21P)(1log)(22bitPxH1P0P)(2xHN1)(xHNPPNPPPNi1log1log1log2122)(xHNN2log)(xH)(xH1.当信源输出的消息是连续变化时，或者说信源的输出在任意时间范围内，都可以有无数多个取值时，就称该信源为连续信源。2.连续信源的熵 =不是指它实际输出的绝对熵，而是减去一个无穷大项
4、后的相对熵。3.结论：连续信源的熵指的是一个比无穷大大多少的相对量，而不是绝对量；离散信源的熵是一个绝对量，二者是不同的。)(vH)(vHdvvpvp)(log)(6 61 11 13 3 连续信源的熵连续信源的熵 612 信源编码 1.对于信源和信道都已知的通信系统，其编码根据不同的目的可分为信源编码和信道编码两类。信源编码主要针对信源特性，通过改变信源各个符号之间的概率分布，实现信源与信道间的匹配，使信息传输速率无限接近其最大值信道容量，所以也称之为有效性编码。信道编码则是通过变换各个信码之间的规律或相关性，使其对误码具有一定的自检或自纠能力，进而使系统在一定的传信率下错误概率任意小。这类
5、编码的目的主要是为了提高系统的抗干扰力，针对信道特性而采取的措施，有时也叫抗干扰编码。2.信源最佳化过程一般按如下两步进行：（1）符号独立化：解除各符号间的相关性；（2）概率均匀化：使各符号出现概率相等。6121 符号独立化 1.弱记忆信源 在一个信源输出的所有符号序列中，每个符号都只与其相邻的少数几个符号之间统计相关，而和所有其它相距较远的符号相互独立或者其相关性可以忽略不计。2.强记忆信源 一个信源输出序列的各个符号之间具有很强的相关性，以致于只要知道其中的一部分符号就可以推知其余符号.3.符号独立化 解除信源各符号之间的相关性，使得各个符号的出现彼此独立。4.由于强、弱记忆信源各个符号之
6、间的相关性完全不同，分别采用预测法、延长法（也叫合并法）来完成其各自的符号独立化过程。6122 概率均匀化一最佳编码 1.概率均匀化的基本思路 有冗余信息的信源在解除了各符号的相关性后，若能够使各个符号出现的概率趋于均匀，就能进一步去掉冗余信息，提高信源的平均信息量。将出现概率大的消息符号编成位数少的短码，而出现概率小的符号编成长码，则编码后各个符号的出现概率就会接近或趋于均匀.2.香农范诺（ShannonFano）编码法设一个有限离散独立信源，可以输出八个独立的消息A、B、C、D、E、F、G、H，各符号输出的概率空间如下所示：利用香农一范诺编码法，对该信源进行编码。具体编码方法及步骤如下：首
7、先把各个消息按其出现概率的大小，由大到小重新排列；将这个重排的概率序列分成两组，每组的概率之和尽可能接近或相等。然后，再对每一组又进行同样的分组，仍然使分成的相应两组概率之和尽可能相等，这时就得到四个分组了。如此继续进行下去，直至每个消息都被单独分割出来为止。对每一次划分出的第一组的消息分配一个0，第二组消息则分配 一个1。最后，每个消息的二元编码就由它分得的所有的0、1序列给定。3.霍夫曼（Huffman）编码法霍夫曼（Huffman）编码法具体编码方法及步骤如下：将信源各个消息按其出现的概率大小以降序排列；把排列后的两个最小概率对应的消息分成一组，给其中大的（或小的）一个消息分配0，另一个
8、分配1，然后求出它们的概率和，并把这个新得到的概率与其他尚未处理过的概率再次按由大到小的顺序重新排成一个新序列；反复重复步骤，直到所有的概率都已经被联合处理过为止。从图的左边开始，沿着从这个消息为出发点的路线一直走到最右边，将遇到的二元数字依次由最低写到最高位所得的二元数字序列，就是最佳的二元代码。62 信道容量与香农公式 621 信道的容量 1.单位时间内传输的信息量就叫做信息传输速率，简称传信率，用符号R表示，它表征了信道的传输能力。2.定义信道容量为信道可能达到的最大传信率，用符号C表示，即对于信源的一切可能概率分布，信道能够传送的最大熵速率就是C，即：=maxyxHxHCmaxR6 6
9、2 21 11 1 离散信道的熵速率和信道容量离散信道的熵速率和信道容量 1.1.设一个离散信道每秒可传送设一个离散信道每秒可传送n n个具有个具有K K种不同状态的脉冲信号，且各种不同状态的脉冲信号，且各个符号的出现彼此独立。当信源等概率分布时，其熵为：个符号的出现彼此独立。当信源等概率分布时，其熵为：=2.2.传信速率传信速率R R：(bit/s)(bit/s)对离散信道，当信源符号等概率分布时，其熵值达到最大，即该信源对离散信道，当信源符号等概率分布时，其熵值达到最大，即该信源的最大熵为的最大熵为 ，故，故n n 就是它的最大传信速率就是它的最大传信速率 ，也称之，也称之为最大熵速率。为
10、最大熵速率。3.3.该信道的信道容量：该信道的信道容量：(bit/s)(bit/s)4.4.二元离散信源，其信道容量就等于每秒钟传送的消息（符号）数二元离散信源，其信道容量就等于每秒钟传送的消息（符号）数n n。（bit/sbit/s）)(xHiKiixPxPlog1KKKi1log11K2logKnxnHR2log)(maxRK2logK2logKnRC2maxlognnC2log25.当收信者收到第j个消息时，得知发送端发送的是第i个消息所获得的信息量为：对全部可能发送的消息进行统计平均，就可以得到接收第j个消息所获得的平均信息量：=-若对全部可能接收到的信息进行统计平均，则得到收到一个消
11、息的平均信息量：-先验概率后验概率logI)()/(logiPjiPiiPjiPjiP)()/(log)/(ijiPjiPlog iPjiPlog)(xHICP)/(yxH6 62 21 12 2 连续信道的信息容量连续信道的信息容量 1.对于频带为（0W），平均功率受限于N的连续信源，当其幅度分布为高斯分布时，其熵最大，且为：=(bit/s)信道容量C为：C=2.信息经有扰信道传送，在接收端收到的平均信息量等于收到的总平均信息量减去由干扰导致的条件平均信息量，即：用传信率来表示，即3.经有扰信道传送，在接收端收到的有用信息的传输速率等于收到的总信息速率减去噪声信息速率。4.某特定信道的信道容
12、量C就是它的最大熵速率或最大信息速率：W2 xHmaxW2eN2log2W)/(2log2sbiteN xHmaxeN2log2)/()(yxHxHICP)/()()/()(yxHxHyxHxHnRtt)()(nHyHIymaxmax)()(nHyHRCtt5.信息论中最著名的香农公式。信息论中最著名的香农公式。假定信道具有如下特性：假定信道具有如下特性：(1)信道噪声为高斯白噪声，其统计特性符合正态分布，平均功率信道噪声为高斯白噪声，其统计特性符合正态分布，平均功率N=n0W，n0为噪声的单边带功率谱密度为噪声的单边带功率谱密度;(2)信道带宽为信道带宽为W;(3)输入信号平均功率受限，且为
13、输入信号平均功率受限，且为P;(4)信号迭加噪声后仍然服从正态分布，总平均功率为信号迭加噪声后仍然服从正态分布，总平均功率为P+N.则可以算出该信道的最大传信率为则可以算出该信道的最大传信率为 同样可以算出噪声的传信率为：同样可以算出噪声的传信率为：则信道容量则信道容量C为：为：)/)(2log)(2sbitNPeWyH)/(2log)(2sbiteNWnH)/)(1(log2sbitNPWC6 63 3 信道编码信道编码 1.信道编码的目的在于提高通信的可靠性，通过加入冗余码元来减少误码率。信道编码以降低信息传输速率为代价，用有效性换取可靠性。2.信源编码减少的冗余度是由随机的、无规律的无用
14、消息形成；而信道编码增加的冗余度是特定的、有规律的人为消息，使接收端在接收信息后可以利用它发现错误，进而纠正错误。6 63 31 1 差错控制原理差错控制原理 6311 差错控制编码的基本原理1.信道编码(差错控制编码)的基本原理 用系统的有效性来换取可靠性，在传输的信息码元中附加一定数量的冗余码（通常称之为监督码元），冗余码在整个编码中的位置及代码选择由某一事先确定的规则来决定，收端接收到这样的编码后，根据已知的规则，对接收信息进行检验，发现、纠正和删除错误。6312 差错控制方式 1.常见差错控制编码的工作方式有前向纠错（前向纠错（FECFEC）;检错重发（检错重发（ARQARQ）;混合纠
15、错（混合纠错（HECHEC）;信息反馈（信息反馈（IFIF）。）。2.前向纠错FEC 纠错码由发送端直接发送至接收端，作为译码器自动发现和纠正错误的依据。这类系统适于单向通信的场合.3.检错重发ARQ(又称判决反馈或反馈重发)消息经过信源编码及经信道编码后，由发射机通过前向信道送至接收端，并同时送至缓存器存储。接收端接收到信息后，进行译码和检错，如果没有发现错误，则将该译码信息输出至收信者；如果检测到错误，则触发重发指令发生器，从反向信道向发送端发出请求重发指令，并通知发端出现错误的码组编号，同时停止输出。发射机收到该ARQ信令后，中断编码器输入，停止编码，把原来存储的码字从出错那组开始，重新
16、通过输出设备经前向信道发出。图图66 ARQ系系统的工统的工作方式作方式 4.混合纠错HEC 当收端接收到少量错码时，就在接收端直接纠正，即采用前向纠错方案；当错码太多超过其纠错能力时，则采用检错重发方式。HEC充分利用了前向纠错和检错重发系统的特点，性能较好。但需要双向信道，且系统设备较复杂。5.信息反馈IF 接收端对收到的消息不做任何判断而原样送回发送端，由发端将其和保存在缓存器中的原发信息比较，发现有错误则重发该信息，否则不做任何处理，继续发送后面的信息。6 63 31 13 3 差错控制编码的分类差错控制编码的分类 1.按照编码的不同用途，差错控制码可分为 检错码-只可检测错误；纠错码
17、-只可纠正错误；纠删码-同时具有纠错和检错能力，当发现不可纠正的错误时，将发出错误指示或将该错误码元删除。2.按照监督码元和信息码元之间的不同关系，差错控制码分为 线性码-监督码元和信息码元之间的关系可以用一组线性方程来表示；非线性码-监督码元和信息码元之间的关系不可以用一组线性方程来表示。3.按照对信息码元的处理方式不同，差错控制码可分为 分组码-监督码元仅由本码组的信息码元确定 卷积码-监督码元由本码组的信息码元与前几个码组的码元按一定规则共同确定。4.按照码组中信息码元在编码前后的位置是否发生变化，可将差错控制码分为 系统码-编码后信息码元在监督码元的前面，且相互位置不变的编码 非系统码
18、-否则就是非系统码。5.按照编码针对的不同干扰类型，差错控制码可分为 纠（检）随机（或独立）错误码 纠（检）突发错误码 既能纠（检）随机错误同时又能纠（检）突发错误码。6.按照每个码元的取值不同，差错控制码可分为 二进制码 多进制码。6 63 32 2 码重与码距码重与码距 6321 几个基本概念1码长码组或码字中编码码元的总位数为码组长度。2.码重码组中码元为1的数量，就叫做该码组的重量，简称码重。3码距码距d是码组（字）间差别的定量描述，两个长度相等的码组之间对应位置上码元不同的位数之和就称为码组的距离，简称码距，也叫汉明距离。4最小码距dmin在一个由多个长度相等的码字组成的码组集合中，
19、并不是所有码组之间的码距都相等。称所有码距中的最小值为最小码距，它是衡量一种编码的纠检错能力强弱的主要依据。6 63 32 22 2 纠检错能力与最纠检错能力与最小码距小码距d dminmin的关系的关系 1.若要发现e个错误，必须满足条件 el 2.若要纠正t个错误，则必须满足条件 2tl 3.若要纠正t个错误，且发现e个错误，则必须满足条件 tel 且et mindmindmind6 63 33 3 几种常用的差错控制码几种常用的差错控制码 633.1 重复码 1.重复码的基本原理 将有用信息按照约定的次数重复发送。只要正确传输的次数多于传错的次数，根据最大似然法则，就可用少数服从多数的原
20、则排除差错，使接收端接收正确信息。2.逐位重复将信息码元以位为单位，重复传送N次，它产生的 位冗余码元就是该信息位的 次重复。3.分段重复将待传送信息码元以固定的若干位为单位，重复传送N次。4.重复码的重复次数必须是偶数，加上本身的信息码则发送奇数次，就可以避免出现一半正确一半错误而无法判断的情况。1N1N6 63 33 32 2 奇偶监督码奇偶监督码 1.基本思想在 位信息码元后面附加一位监督码元，构成一个n位的编码，使码长为n的码组中1的个数保持为奇数或偶数。码组中1的个数保持为奇数的称为奇校验码，保持为偶数的称为偶校验码。2.奇、偶校验码可以发现奇数个错误码元，但不能纠正。它的检错能力较
21、低，编码效率 较高，且随着n的增加而增加。3.奇偶校验码广泛应用于计算机数据如标准ASCII码的传输，一般用高7位（7bit）码元来表示128个ASCII字符，再加上1位奇偶校验码，构成一个8bit的二元码组发送，接收端则根据收到的码组是否满足奇偶校验和的值（偶校验和为0，奇校验和为1），来判断接收的码元是否有错误。1nnn16 63 33 33 3 水平奇偶监督码水平奇偶监督码 1.水平奇（偶）监督码首先把信息按奇（偶）监督规则编码，再将信息以每个码组一行排成一个阵列，发送时按列的顺序进行。接收时以列的顺序排阵后，再按行进行奇（偶）校验.6334 水平垂直奇偶监督码1.在水平奇（偶）监督码的
22、基础上，对其每一列也进行奇偶校验，就可以得到水平垂直奇（偶）监督码。2.除了能检测到每一行以及每一列中的奇数个错误以外，还能发现长度不大于行数或列数的突发错误。6335 定比码 1.定比码又称等比码或等重码，它的每个许用码组中含1、0的个数是固定的。编码时，取所有含l、0个数符合要求的码组为许用码组，其余则为禁用码组。在收端进行检测时，只要检测码组中1、0的个数是否等于规定的数目，就可判断有无错误。2.常见的定比码有五三定比码和七三定比码。五三定比码，又称5中取3码。它的每个码字都由3个l、2个0共5个码元组成。其许用码组的数目为5中取3的组合数，即 =10，正好可以唯一表示10个阿拉伯数字。
23、七三定比码，其码字由3个1、4个0组成，许用码字的数量为 =35，代表26个英文字母和其他几个常用符号。6336 群计数码群计数码针对分组后的信息码元组，计算出每组码元中l的个数，再将该数目的二进制编码作为监督码元，加在信息码元之后一起发送。35C37C1.线性分组码-信息码元与监督码元之间的关系可以用一组线性方程来表示，且监督码元仅由本码组的信息码元确定，而与其它码组的码元无关。2.一般用符号 表示线性分组码，其中 是码组中信息码元的数目，是编码后码组的总长度，则监督码元的数目 ，编码效率：3.线性分组码具有以下两点性质：封闭性：任意两个许用码组相加后（按位模2相加），所得编码 仍是许用码组
24、;最小码距等于除全零码组以外的最小码重。6 64 4 线性分组码线性分组码6 64 41 1 线性分组码的定义及性质线性分组码的定义及性质 kn),(knknrnk6 64 42 2 生成矩阵生成矩阵G G和监督矩阵和监督矩阵H H 1.每一个线性分组码都唯一对应一个特定的生成矩阵和一个监督矩阵。2.8种许用码组 编号 信息码元C6 C5 C4 监督码元C3 C2 C1 C0 10 0 00 0 0 0 20 0 10 1 1 1 30 1 0 1 1 1 0 40 1 1 1 0 0 1 51 0 0 1 1 0 1 61 0 1 1 0 1 0 71 1 00 0 1 1 81 1 10
25、1 0 0 6 64 42 21 1 生成矩阵生成矩阵将码组中各码元与信息码元之间的关系用矩阵形式表示为：将码组中各码元与信息码元之间的关系用矩阵形式表示为：=即：即：简记为简记为 则称则称 为生成矩阵，这是一个为生成矩阵，这是一个 阶矩阵。阶矩阵。G0123456ccccccc464545656456cccccccccccc456ccc111010001110101011001GccccccccccT4560123456GMCnk 6 64 42 22 2 监督矩阵监督矩阵 监督方程组为：=0可简记为 ，其中 为矩阵 的转置矩阵，称 为该线性分组码的监督矩阵或一致校验矩阵，这是一个 阶矩阵.
26、0TCHTCH10001010100110001011100010110123456ccccccc0,1,2,3,4,5,6cccccccC nkn)（6 64 43 3 汉明码汉明码 1.当 时所得的线性编码就是汉明码。2.汉明码的两个特性：只要给定 ，就可确定线性分组码的码长 及信息码元的个数 ；在信息码元长度相同、纠正单个错误的线性分组码中，汉明码所用的监督码元个数 最少，相对的编码效率最高。kn2)1(nr12 rnrnkr6 65 5 循循 环环 码码 1.循环码是另一种常用的线性分组系统码 前 位为信息码元，后 位为监督码元。2.既具有线性分组码的封闭性，又独具循环性，即循环码中任
27、一许用码组经过满环移位后，不论右移或左移，移位位数是多少，所得的新码组仍是许用码组。3.循环码编码电路简单，可以很容易地用带有反馈的移位寄存器来实现其硬件，且性能优良，不仅可以纠正独立的随机错误，还能纠正突发错误。),(knkknr6 65 51 1 循环码的特点循环码的特点 1.把许用码组A=表示为：A(x)=+2.x为一个任意的实变量，其幂次代表移位次数。当码组A向左循环移i位后的码组A(i)=.，其码多项式为：A(i)（x）.21nnaa（)01aa2211nnnnxaxa01axa21(ininaa)1ininaa2211ninninxaxaininaxa16 65 52 2 循环码的
28、生成多项式循环码的生成多项式 1.循环码 的表示式：式中，表示信息码元的代数多项式，称 为循环码的生成多项式。2.对于任意n值，必然存在(1)取 为生成多项式，由此构成的循环码即为简单的偶监督码 。由于 为一阶多项式，因此只有一位监督码。的任何倍式的码重必定保持偶数，其最小码距 。(2)以 为生成多项式，由于生成多项式为 阶多项式，故信息码位数为1。它只有两个许用码组：全0和全1，因此这种循环码是 重复码，其最小码距 。)(xc)()()(xgxmxc)(xm)(xg)1)(1(121xxxxxnnn)1(x)1,(nn)(xg)1(x2mind)1(21xxxnn)1(n)1,(nndmin
29、对于 循环码，首先将它的信息码用次数不高于 次的码多项式表示（称为信息码多项式）后，再用 乘以它，然后用所得多项式除以生成多项式 ，所得余式就是该循环码的监督码的代数多项式（称为监督码多项式）。),(kn)(kn knD)(xg653 循环码的编码过程6 65 54 4 循环码的编码电路循环码的编码电路 1.构造系统循环码时，只需将信息码多项式 提升 阶（即乘以 ），然后以 为模（即除以 ），所得余式 就是要求的监督码元多项式。这一编码过程可以用下式表示出来：这里，为商式。由此得到的系统循环码多项式为这样，系统循环码的编码过程就变成用除法求余式的问题。2.多项式除法可以用带反馈的线性移位寄存器
30、来实现。有两种不同的除法电路形式：内接异或（模2加）门电路和外接异或门电路，实际中通常采用内接异或门除法电路。)(xm)(kn knx)(xg)(xg)(xr)()()()()(xgxrxqxgxmxkn)(xq)()()(xrxmxxckn6 65 55 5 循环码的译码循环码的译码 1.循环码的纠错译码分如下三步进行：由接收到的码多项式 ，计算校正子多项式 ；由校正子 确定错误图样；根据错误图样纠错。2.基于错误图样的纠错译码器称为梅吉特译码器，它的原理图如下图612所示。这是一个具有 个输入端的逻辑电路，它采用查表方式，根据校正子找到相应的错误图样，再利用循环码的上述特性简化识别电路。)
31、(xc)(xs)(xs)(kn 小小 结结1.首先给出了单个消息的信息量度量方式，并由此介绍了模拟信源、离散信源发出消息所携带的平均信息量熵的计算公式和方法。2.针对通信的两个主要技术指标有效性和可靠性，根据香农公式，提出信源编码和信道编码的概念，指出了改善系统两大指标的措施压缩信源消息中的冗余来提高有效性以及增加冗余码元来提高可靠性，3.具体介绍两种最佳信源编码方法，即霍夫曼编码和香农范诺编码法；4.通过汉明码和循环码阐明信道的可靠性编译码思路及过程。习题六习题六 一填空1 通信过程中，收信者对某一事件的了解完全依赖于他获得的（）。若获得信息量不够，则只能达到比较肯定；获得信息量足够，则变成
32、完全肯定。因此，可以直观地将通过通信获得的信息量定义为I(信息量)=（）。2 连续信源的熵指的是一个（）的相对量，而（）绝对量；离散信源的熵（）绝对量，二者是不同的。3 信源编码主要针对（），通过改变信源各个符号之间的概率分布，使信息传输速率无限接近其最大值信道容量，所以也称之为（）。信道编码则是通过变换各个信码之间的（），使其对误码具有一定的（）或（）能力，进而提高系统的抗干扰力，所以有时也叫（）。4 信源编码首先要解除带有大量冗余的信源符号之间的（）；其次再使各个符号的出现概率（），就能进一步提高信源的平均信息量。概率均匀化的基本思路就是将出现概率大的消息符号编成（），而出现概率小的符号编
33、成（），使编码后各个符号的出现概率（）。5 香农公式可表达为（）。它说明对于一个给定的信道容量C，既可以用减小（）和增大（）来达到，也可以用增加（）和减小（）来实现，即：维持信道容量不变的情况下，（）和（）可以互换。6 信道编码的目的在于提高（），因此它通过（）来减少误码率。显然，信道编码以降低（）为代价，用系统的（）换取可靠性。信道编码增加的冗余信息是（）、（）人为消息，使接收端在接收信息后可以利用它（），进而（）。7 奇偶监督码又称（），这是一种最常用的检错码。其基本思想是在 位信息码元后面附加（）位监督码元，构成一个（）位编码，并根据码组中1的个数保持为（）或（），相应地称为（）或（）。
34、8 常见的定比码有（）和（）。我国电传通信中普遍采用（），它的每个码字都由（）个l、（）个0共（）个码元组成。其许用码组的数目为（）个，正好可以唯一表示（）个阿拉伯数字。9 一般用符号（）表示线性分组码，其中（）是码组中信息码元的数目，是编码后码组的总长度，则监督码元的数目为（），编码效率为（）。10对于(n,k)循环码，将它的信息码用次数不高于（）次的码多项式表示，称之为信息码多项式，再用（）乘以它，然后用所得多项式除以生成多项式 g(x)，所得余式就是（）的代数多项式，称为监督码多项式。1n二单选1通过通信，收信者从收到信源消息 中所获得的平均信息量为 =-=，该式的物理意义是（）。A发信
35、者所剩余的信息量随先验概率的增加而增加，随后验概率的增加而减少B发信者所剩余的信息量随先验概率的增加而增加，也随后验概率的增加而增加C收信者所获得的信息量随先验概率的增加而增加，随后验概率的增加而减少D.收信者所获得的信息量随先验概率的增加而减小，随后验概率的增加而增加iXI)(xH)(yxH)(1logixP)/(1logjiyxP)()/(logijixPyxP先验概率后验概率log2在无扰情况下，收信者从信源输出的每个消息中得到的平均信息量，就（）；当信道存在于扰时，收信者从收到的每个消息中得到的平均信息量将（）。A 小于信源的不肯定度 B 等于信源的不肯定度C 不大于信源的不肯定度 D
36、 大于信源的不肯定度3对离散信道，当K种信源符号等概率分布时，其熵值达到最大为，相应的最大熵速率 为（）。A B C D 4香农公式 说明：（）。A 信道容量C与带宽W和噪声功率比 P/N 有关，W愈大或P/N愈大，C就愈小B 维持信道容量不变的情况下，带宽W和信噪比 P/N可以互换C 对于平均功率受限的信道，高斯白噪声的危害最小，因为此时噪声的熵最小maxR)(xH)(xH)(xH)(xHK/1log2K2log2K2log)1(log2K)/)(1(log2sbitNPWCD 目前3G移动通信系统的传信率已达到了香农公式中的极限信道容量5 设有 位二元信息码元 ，若在 后面附加一位奇监督码
37、 ，则必然存在如下关系（）；反之，若是附加的偶监督码 ，则满足关系（）。A =1 B =2 C =0 D =16.设M为发送的水平奇（偶）监督码方阵的行数，则水平奇（偶）监督码除了具备一般奇（偶）监督码的检错能力外，还能（）。A 纠正所有突发长度不大于M的突发错误B 发现所有突发长度不大于M的突发错误C 发现所有突发长度不大于M1的突发错误D 纠正所有突发长度不大于M1的突发错误1n1a,321nnnaaa12,aa0a0a10niia10niia10niia10niia7若用符号 表示线性分组码，则奇偶监督码可表示为（），其编码效率为（）。A（n，1）B（n1，n）C（n，n1）D（n1，1
38、）E F G H 8要纠正 线性分组码中的单个错误，则监督码元的个数 必须满足关系（）。A B C D t），必须满足条件 t2elB要纠正t个错误且发现e个错误（et），必须满足条件 2telC 要发现e个错误，必须满足条件 el D 要纠正t个错误且发现e个错误（et），必须满足条件 telmindmindmindmindmind6 线性分组码具有（）性质。A 循环性：码组中的码元位置可以任意按次序循环，所得编码仍是许用码组B 封闭性：任意两个许用码组相加后，所得编码仍是许用码组C 最小码距 等于除全零码组以外的最小码重D 系统性：编码生成的码组中，原信息码元的位置关系保持不变7设 汉明码
39、的监督码元位数为r，则它具有如下（）特性。A 只能纠正1位错误B 只要给定 ，就可确定码长n及信息码元的个数kC 在信息码元长度相同、可纠正单个错误的线性分组码中，汉明码编码效率较低D 无论码长 为多少，汉明码的最小码距 3 mind),(knrnmind四判断1（）不肯定性越大的消息携带的信息量越小；反之，不肯定性越大的消息带给收信者的信息量越多。2（）连续信源的熵是一个比无穷大大多少的相对量；离散信源的熵是一个绝对量，二者是不同的。3（）平均功率受限的一定带宽高斯白噪声信道中，当输入信号为高斯分布时，单位时间内能够无差错地传递的最大信息量为 。4（）一般情况下，各种信源编码中以香农一范诺编
40、码法的效率最高。)/)(1(log2sbitNPWC5（）信源编码是消除或减少信息冗余量，而信道编码则是增加信息冗余以提高抗干扰力。所以，两者正好是互逆的过程。6（）纠删码则同时具有纠错和检错能力，当发现不可纠正的错误时，将发出错误指示或将该错误码元删除。7（）最小码距 越大，编码的纠检错能力越弱。8（）分段重复码抗成群错误的能力比逐位重复码强。9（）重复码的编码效最高可达80%左右。10（）水平垂直奇（偶）监督码除了能检测到每一行以及每一列中的奇数个错误以外，还能发现长度不大于行数或列数的突发错误。mind五计算与分析1设某离散信源以概率 发送3种消息符号。若各消息符号的出现彼此独立，试求每
41、个符号的信息量以及该符号集的平均信息量。2一个离散信源以每毫秒10个符号的速度发送彼此独立的四种符号中的一个，已知各符号的出现概率分别为0.1、0.2、0.2、0.5，求该信源的平均信息量和信息速率。3设二进制信道输入符号的概率分布为 。信道的转移概率矩阵如下，求其 。4.二进制对称信道中的误比特率 为0.2，若输入信道的符号速率为2000符号/秒，求该信道的信道容量。41,41,21321PPP)/(),(),(yxHyHxH8.02.01.09.0)1/1()1/0()0/1()0/0(xyPxyPxyPxyPeP41,4321PP5.已知某语音信道带宽为4KHz，若接收端的信噪比 ，求信
42、道容量。若要求该信道传输 的数据，则接收端的信噪比最小应为多少？6 若黑白电视机的每幅图象含有 个象素，每个象素都有16个等概率出现的亮度等级，如果信道的输出信噪比为 ，信道带宽为1.4MHz，则该信道每秒可传送多少幅图象？7（7，1）重复码若用于检错，最多能检测出几位错码情况？若用于纠错，最多能纠正几位错码？若同时用于检错和纠错，则最多能检几位错码、纠几位错码？dBNS60sbit/560005103dBNS408 已知（7，3）分组码的监督关系方程组如下，试求出它的监督矩阵、生成矩阵，写出全部码字，并分析其纠错能力。9 已知某汉明码的监督矩阵如上所示，试求：（1）；（2）若输入信息码元为1001，写出其相应的汉明码字；（3）验证1111001和0101011是否符合该汉明码的编码规则？如果不，请纠正之。10试查表写出所有能构成（15，10）循环码的 。100011101011100010101?,?,kn)(xg0246003560012501236ccccccccccccccc
