1、2022-10-271总复习(按章节）第一章第一章 绪论绪论1信息的定义信息的定义。2信息论的定义。信息论的定义。3信息、消息、信号的关系信息、消息、信号的关系4通信系统的模型。通信系统的模型。2022-10-272第第2章章 信源及其熵信源及其熵1、信源的数学模型、信源的数学模型2、信源分类：信源分类：按消息在时间上和幅度上的分布情况，按发按消息在时间上和幅度上的分布情况，按发出符号之间的关系，对信源分类。出符号之间的关系，对信源分类。3、马尔科夫性、马尔科夫性4、齐次马尔可夫信源的转移概率具有具有什么特点。、齐次马尔可夫信源的转移概率具有具有什么特点。5、马尔可夫链遍历性的判断定理。马尔可
2、夫链遍历性的判断定理。6、自信息量、条件自信息量的定义。、自信息量、条件自信息量的定义。7、信源符号不确定度和自信息量的区别。、信源符号不确定度和自信息量的区别。8、离散信源的熵。离散信源的熵。离散信源的熵离散信源的熵9、条件熵、条件熵H(X|Y)、条件熵、条件熵H(Y|X)的物理含义。的物理含义。10、各种熵之间的关系各种熵之间的关系。11、离散信源最大熵定理、离散信源最大熵定理12、互信息的定义，、互信息的定义，平均互信息；物理含义平均互信息；物理含义。13、数据处理定理。数据处理定理。14、熵的性质、熵的性质2022-10-27315、离散无记忆信源的序列熵、平均符号熵、离散无记忆信源的
3、序列熵、平均符号熵,极限熵极限熵16、离散有记忆平稳信源的几个结论、离散有记忆平稳信源的几个结论17、连续信源的熵，最大熵定理连续信源的熵，最大熵定理18、冗余度的概念、冗余度的概念、产生的原因产生的原因；冗余的压缩。；冗余的压缩。2022-10-274第第3章信道和信道容量章信道和信道容量1、信道分类信道分类（按信道输入（按信道输入/输出信号特点，根据信道噪声种输出信号特点，根据信道噪声种类不同）类不同）2、信道的表示参数；信道的表示参数；3、信道容量的定义。、信道容量的定义。4、无噪有损离散信道的信道容量。无噪有损离散信道的信道容量。5、有噪无损离散信道的信道容量有噪无损离散信道的信道容量
4、6、对称对称DMC信道的信道容量信道的信道容量。7、串联信道的信道容量、串联信道的信道容量8、无记忆离散序列信道的容量。、无记忆离散序列信道的容量。9、单符号连续信道的信道容量。单符号连续信道的信道容量。10、多维无记忆高斯加性连续信道及其容量、多维无记忆高斯加性连续信道及其容量11、高斯白噪声加性波形信道的容量（、高斯白噪声加性波形信道的容量（香农公式香农公式），香农信），香农信息极限息极限2022-10-275第第4章章 率失真函数率失真函数1、失真度，失真矩阵，平均失真度，常用的失真函数。、失真度，失真矩阵，平均失真度，常用的失真函数。2、率失真函数，物理含义率失真函数，物理含义3、率失
5、真函数的性质率失真函数的性质4、率失真函数的计算、率失真函数的计算2022-10-276第第5章章 信源编码信源编码1、无失真信源编码和、无失真信源编码和限失真信源编码限失真信源编码2、信源编码的数学描述、信源编码的数学描述3、码长码长Ki及其意义及其意义4、几种常见的码几种常见的码5、码树码树和和kraft不等式（判断惟一可译码存在的充要条件）不等式（判断惟一可译码存在的充要条件）6、符号序列编码、符号序列编码7、无失真定长编码定理、无失真定长编码定理7、香农第一极限定理（无失真非定长序列编码定理）、香农第一极限定理（无失真非定长序列编码定理）8、编码效率编码效率9、最佳编码的指导思想、最佳
6、编码的指导思想10、最佳编码的主要方法、最佳编码的主要方法：香农（香农（Shannon）、）、费诺费诺（Fano）、）、哈夫曼（哈夫曼（Huffman）编码）编码 11、香农第三极限定理（限失真信源编码定理）、香农第三极限定理（限失真信源编码定理）12、常用信源编码方法（、常用信源编码方法（游程编码游程编码、算术编码算术编码）2022-10-277第第6章章 信道编码信道编码1、信道编码的目的信道编码的目的2、差错控制编码、差错控制编码3、检错和纠错（差错控制）的基本原理、检错和纠错（差错控制）的基本原理4、差错控制方式、差错控制方式5、有扰信道编码定理（、有扰信道编码定理（Shannon第二
7、极限定理）第二极限定理）6、分组码概念，码重、码距；最小距离与检错和纠错能力、分组码概念，码重、码距；最小距离与检错和纠错能力之间满足如下关系之间满足如下关系。7、最简单的线性分组码。、最简单的线性分组码。8、差错图样与译码差错图样与译码9、矢量空间（码空间）：定义、基底、张成；、矢量空间（码空间）：定义、基底、张成；子空间、正子空间、正交交；分组编码的数学概念；分组编码的数学概念10、线性分组码的生成矩阵，系统形式的生成矩阵，系统线性分组码的生成矩阵，系统形式的生成矩阵，系统化化2022-10-27811、线性分组码的、线性分组码的校验矩阵校验矩阵12、伴随式和标准阵列译码。、伴随式和标准阵
8、列译码。13、译码译码算法；最大似然译码与算法；最大似然译码与最小距离译码最小距离译码14、完备码及其特点完备码及其特点；两种完备码的例子；两种完备码的例子15、循环码及其多项式描述循环码及其多项式描述16、生成多项式，循环码的构造及校验，生成多项式，循环码的构造及校验，系统循环码系统循环码17、循环码编码电路、循环码编码电路18、BCH码和码和RS码码19、分组码的扩展、缩短和循环冗余校验码、分组码的扩展、缩短和循环冗余校验码20、卷积码的基本概念、卷积码的基本概念21、卷积码的解析表达式、卷积码的解析表达式（说明为什么称之为卷积码）（说明为什么称之为卷积码）22、卷积码的转移函数矩阵、卷积
9、码的转移函数矩阵23、卷积码的状态流图、卷积码的状态流图24、卷积码的状态流图、卷积码的状态流图2022-10-27925、卷积码的距离特性卷积码的距离特性；信号流图法求自由距离；信号流图法求自由距离26、最佳卷积码、最佳卷积码27、卷积码的译码、卷积码的译码维特比算法维特比算法28、维特比译码差错概率、维特比译码差错概率29、卷积码应用、卷积码应用30、编码与调制的结合、编码与调制的结合-网格编码调制网格编码调制31、运用级联、分集与信息迭代概念的纠错码、运用级联、分集与信息迭代概念的纠错码2022-10-2710第六章第六章 作业讲评作业讲评 二维四重子空间：两个基底，如二维四重子空间：两
10、个基底，如（0100），（），（1000）线性组合线性组合 0000，0100，1000，1100 6.1 题题 重数重数-构成矢量的元素的个数构成矢量的元素的个数 维数维数-张成矢量空间的基底的个数张成矢量空间的基底的个数 事实上，这是（事实上，这是（4，2）分组码的码字空间，）分组码的码字空间，22=4，共有，共有 4个码字（矢量）个码字（矢量）其对偶空间是一个其对偶空间是一个n-k=4-2=2维的子空间。如取两个基底维的子空间。如取两个基底为为:(0010）（）（0001），），张成的空间为张成的空间为 0000，0010，0001，00112022-10-2711 6.3 题题 码元排
11、列顺序码元排列顺序 （u3,u2,u1,u0,v3,v2,v1,v0),则生成矩阵则生成矩阵为：为：0111 1110 1101 1011 1000010000100001G 若若 码元排列顺序码元排列顺序 （u0,u1,u2,u3,v0,v1,v2,v3),则生成矩阵则生成矩阵为：为：1101 1011 0111 1110 1000010000100001G2022-10-2712最小码距最小码距dmin方法方法1：最小码距：最小码距d0等于非零码字的最小重量即等于非零码字的最小重量即d0=wmin 列出所有的码字，列出所有的码字，d0=4方法方法2：由校验矩阵求最小码距：由校验矩阵求最小码
12、距d0=r+1,r为为 H的秩的秩r44r=4?d0=4+1=51000 0100 0010 0001 0111 1110 1101 1011 H2022-10-2713 6.6 题题 （3）伴随式表伴随式表 n-k=4 24=16,列出列出16个伴随式即可个伴随式即可 6.8 题题 （2）循环码的系统形式的生成矩阵）循环码的系统形式的生成矩阵 C=(cn-1,c1,c0)=mk-1,m1,m0 =m*G 将G系统化即得00000ggggggknknkn2022-10-2714 6.11 题题 （7，3）RS码码已知生成多项式已知生成多项式 g(x)=x4+3 x3+x2+x+3信息序列信息序
13、列 m=(m=(4 2 3)即即m(x)=4 x2+2 x+3r(x)=xn-km(x)mod g(x)=x4(4 x2+2 x+3)mod g(x)=x2+5 x+1 c(x)=xn-k m(x)+r(x)=6x6+2 x5+3 x4 +x2+5 x+1c=(6 2 3 0 5 1)2022-10-2715c=(6 2 3 0 5 1)衍生码为：衍生码为：c=(101 100 011 000 010 111 0018个元素都可以表示为个元素都可以表示为 的的最高幂次为最高幂次为m-1(这里这里m=3)的多项式的多项式 3=+1；(011)4=3=(+1)=2+;(110)5=3 2=(+1)
14、2=2+1；(111)6=3 3=2+1;(101)2022-10-2716 6.14 题题 结构图结构图 状态图状态图 自由距离自由距离2022-10-2717离散信源的熵离散信源的熵1、单独求信源的熵或其它量时，、单独求信源的熵或其它量时，要给出信源模型要给出信源模型2、熵的计算公式（注意符号的使用）、熵的计算公式（注意符号的使用）3、计算出结果、计算出结果1)P(；)P()P()P()P(XPXn1in1inxxxxxxxx212 )()()(iixx logPPXHn1i2022-10-27184、各种条件熵的符号、各种条件熵的符号 在给定符号在给定符号yj的条件下，信源的条件下，信源
15、X 的条件熵的条件熵H(X|yj)为为:)|()|()|(jiijiyxyxyIPXHj)|(),()|()()|(jijijjyxyxyylogPPXHPYXHijj在给定信源在给定信源Y(即各符号即各符号yj)的条件下，信源的条件下，信源X 的条件熵为的条件熵为:)|(),()|(ijijlogPPXYHxyyxji 在给定信源在给定信源X(即各符号即各符号xi)的条件下，信源的条件下，信源Y 的条件熵为的条件熵为:强调：知道问题到底是求哪个量？强调：知道问题到底是求哪个量？)YXH X|YH YXH XH Ij,(?|)(?)|(?)|(?)|(yyxji2022-10-2719各种熵之
16、间的关系各种熵之间的关系H(X,Y)H(X)H(Y|X)H(X,Y)H(Y)H(X|Y)理解、证明和计算理解、证明和计算 H(X|Y)H(Y|X)I(X;Y)H(X)H(Y)H(X,Y)2022-10-2720对称对称DMC信道的信道容量信道的信道容量。1、写出模型（传递矩阵）、写出模型（传递矩阵）2、判断对称性（输入对称、输出对称）、判断对称性（输入对称、输出对称）3、代入、代入“公式公式”计算计算或者：或者：的行向量）PHlogm C(是个常数噪声熵 jijjiijijjiablogPb|aPablogPb,aPXYH)|()()|()()|()|()()|()();()XYHYHmax
17、XYHYHmaxYXImaxCiiip(ap(ap(a那么：2022-10-2721常数输出对称那么：服从等概分布，如果 abPn1bP1/n,)aPa iijjii)|()(的行向量）服从等概分布，PHlogmlogPPlogm XYHlogmC logmYmaxHbm1jijijj()|()(2022-10-2722香农公式香农公式高斯白噪声加性波形信道及其容量高斯白噪声加性波形信道及其容量L12xLLBLBttxtP1log21)YXImax C LCtClimRmax Clllpp)(;()()(，维连续信道的信道容量表示，其中2N 2wPP 02sll，代入：wNPSNR SNR1w
18、logwNP1wlogtClimC0s0sBLBtt噪声功率信号功率其中：得：)()(2022-10-2723计算和理解计算和理解（1）提高信噪比）提高信噪比SNR，可以增加信道容量，可以增加信道容量.N0w-0,Ct-.（2）增加信道的带宽并不能无限制地提高信道容量。）增加信道的带宽并不能无限制地提高信道容量。秒时，/)(bitln2NPwNP1wloglimClimCw0s0swtw为香农容量极限。称秒，可求得设：1.6dB-1.6dBln2NP1bitC0s/（3）给出了不同的）给出了不同的SNR下，所能达到的最大频带利用率。下，所能达到的最大频带利用率。（4）Ct一定时，带宽一定时，带
19、宽w和信噪比和信噪比SNR可以互换。大的系统带宽可以互换。大的系统带宽可以降低对输入信噪比的要求。而大的输入信噪比可以减少对带可以降低对输入信噪比的要求。而大的输入信噪比可以减少对带宽的要求。（举例：扩频通信）宽的要求。（举例：扩频通信）2022-10-2724率失真函数的性质率失真函数的性质D允许的实验信道允许的实验信道PD中一定有一种信道，使得中一定有一种信道，使得I(X;Y)最小。定最小。定义义R(D)为：为：物理含义：物理含义：)(DR DDX _最小值为压缩的的条件下，信息率容许不超过失真限度，在平均失真对于给定信源ijjijjiPbPabPlogbaPminY)minI(X;R(D
20、)D)()|(),(性质性质:R(D)的定义域的定义域 Dmin,Dmax0DDD 0baEdDbad 0D_min，又是非负实数),(),(jiji D minD0R(D)max2022-10-2725)()(_jiji,yx,yxdPminDmin DD D minDnimj0R(D)maxnijm21jnimmni22ni11nimjnimjmaxdP mindPPdPPdPminPdPPmindPPminDiiiiiiiij iijjiij,yxxy.,.)()()()()()(,);()(jijiyx,yxPPPYX0YXIDR独立，与 3-4例题2022-10-2726香农编码、费诺（香农编码、费诺（Fano）、）、哈夫曼（哈夫曼（Huffman）编码）编码 1、编码、编码2、计算编码效率、计算编码效率线性分组码的线性分组码的生成矩阵、校验矩阵生成矩阵、校验矩阵循环码的循环码的生成多项式，循环码的构造及校验，系统循环码生成多项式，循环码的构造及校验，系统循环码编码，校验，系统化编码，校验，系统化
