1、第1页2024-4-14(1)一般信道的数学模型一般信道的数学模型 信道的广义性信道的广义性 一般信道的数学模型一般信道的数学模型第2页2024-4-14(1)一般信道的数学模型一般信道的数学模型 信道的广义性信道的广义性信息论把任何一个有输入、输出的系统都可以看成是一个信道信息论把任何一个有输入、输出的系统都可以看成是一个信道（物理信道多种多样：简单：滤波器；复杂：国际通信线路）。（物理信道多种多样：简单：滤波器；复杂：国际通信线路）。信号在信道中传输会引入噪声或干扰，它使信号通过信道后产信号在信道中传输会引入噪声或干扰，它使信号通过信道后产生错误和失真。生错误和失真。信道的输入和输出之间一
2、般不是确定的函数关系，而是信道的输入和输出之间一般不是确定的函数关系，而是统计依统计依赖关系。赖关系。知道了信道的输入信号、输出信号以及它们之间的依赖关系，知道了信道的输入信号、输出信号以及它们之间的依赖关系，信道的全部特性就确定了。信道的全部特性就确定了。第3页2024-4-14(1)一般信道的数学模型一般信道的数学模型 一般信道的数学模型一般信道的数学模型信息论对信道的研究：信息论对信道的研究：对具体物理信道抽象，建立与各种通信对具体物理信道抽象，建立与各种通信系统相适应的信道模型，研究信息在这些模型信道上传输的普系统相适应的信道模型，研究信息在这些模型信道上传输的普遍规律，指导通信系统的
3、设计。遍规律，指导通信系统的设计。信道模型：信道模型：不研究信号在信道中传输的物理过程，把信道模型不研究信号在信道中传输的物理过程，把信道模型看作黑匣子。看作黑匣子。第4页2024-4-14(1)一般信道的数学模型一般信道的数学模型 一般信道的数学模型一般信道的数学模型一般，输入和输出信号都是广义的时间连续的随机信号，可一般，输入和输出信号都是广义的时间连续的随机信号，可用随机过程来描述。用随机过程来描述。数学模型的数学符号表示：数学模型的数学符号表示：X P(Y/X)Y第5页2024-4-14(2)信道的分类信道的分类 根据输入输出随机信号的特点分类根据输入输出随机信号的特点分类 根据输入输
4、出随机变量个数的多少分类根据输入输出随机变量个数的多少分类 根据输入输出个数分类根据输入输出个数分类 根据信道上有无干扰分类根据信道上有无干扰分类 根据信道有无记忆特性分类根据信道有无记忆特性分类第6页2024-4-14(2)信道的分类信道的分类 根据输入输出随机信号的特点分类根据输入输出随机信号的特点分类离散信道：离散信道：输入和输出的随机序列的取值都是离散的信道。输入和输出的随机序列的取值都是离散的信道。连续信道：连续信道：输入和输出的随机序列的取值都是连续的信道。输入和输出的随机序列的取值都是连续的信道。半离散半离散半连续信道半连续信道：输入变量取离散值而输出变量取连续输入变量取离散值而
5、输出变量取连续值，或反之。值，或反之。第7页2024-4-14(2)信道的分类信道的分类 根据输入输出随机信号的特点分类根据输入输出随机信号的特点分类波形信道：波形信道：信道的输入和输出都是一些时间上连续的随机信信道的输入和输出都是一些时间上连续的随机信号号 x(t)和和y(t)，即信号输入和输出的随机变量是连续的，即信号输入和输出的随机变量是连续的，并且还随时间连续变化。一般可用随机过程来描述其输入和并且还随时间连续变化。一般可用随机过程来描述其输入和输出。输出。波形信道可分解成离散信道、连续信道或半离散信道波形信道可分解成离散信道、连续信道或半离散信道来研究。来研究。第8页2024-4-1
6、4(2)信道的分类信道的分类 根据输入输出随机变量个数的多少分类根据输入输出随机变量个数的多少分类单符号信道：单符号信道：输入和输出端都只用一个输入和输出端都只用一个随机变量随机变量来表示。来表示。多符号多符号信道（信道（离散离散无记忆扩展无记忆扩展信道）：信道）：输入和输出端用输入和输出端用随机变量序列（随机矢量）随机变量序列（随机矢量）来表示。来表示。第9页2024-4-14(2)信道的分类信道的分类 根据输入输出个数分类根据输入输出个数分类单用户信道：单用户信道：只有一个输入和一个输出的信道。只有一个输入和一个输出的信道。多用户信道：多用户信道：有多个输入和多个输出的信道。有多个输入和多
7、个输出的信道。第10页2024-4-14(2)信道的分类信道的分类 根据信道上有无干扰分类根据信道上有无干扰分类有干扰信道：有干扰信道：存在存在干扰干扰或或噪声噪声或两者都有的信道。或两者都有的信道。实际实际信道一般都是有干扰信道。信道一般都是有干扰信道。无干扰信道：无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不存在干扰或噪声，或干扰和噪声可忽略不计的信道。不计的信道。计算机和外存设备之间的信道可看作是无计算机和外存设备之间的信道可看作是无干扰信道。干扰信道。第11页2024-4-14(2)信道的分类信道的分类 根据信道有无记忆特性分类根据信道有无记忆特性分类无记忆信道：无记忆信道：输出仅
8、与当前输入有关，而与过去输入无输出仅与当前输入有关，而与过去输入无关的信道。关的信道。有记忆信道：有记忆信道：信道输出不仅与当前输入有关，还与过去信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。输入和（或）过去输出有关。第12页2024-4-14(3)实际的信道实际的信道实际信道的带宽总是有限的，所以输入和输出信号总可实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。随机序列中每个随机变量的以分解成随机序列来研究。随机序列中每个随机变量的取值可以是可数的离散值，也可以是不可数的连续值。取值可以是可数的离散值，也可以是不可数的连续值。一个实际信道可同时具有多种
9、属性。一个实际信道可同时具有多种属性。最简单的信道是单符号离散信道。最简单的信道是单符号离散信道。第13页2024-4-143.2.1 信道容量定义信道容量定义3.2.2 几种特殊离散信道的信道容量几种特殊离散信道的信道容量3.2.3 离散信道容量的一般计算方法离散信道容量的一般计算方法第14页2024-4-14(1)单符号离散信道的数学模型单符号离散信道的数学模型(2)信道的信息传输率信道的信息传输率(3)信道容量信道容量(4)结论结论3.2单符号离散信道的信道容量第15页2024-4-14(1)单符号离散信道的数学模型单符号离散信道的数学模型 信道模型信道模型 信道统计特性信道统计特性3.
10、2单符号离散信道的信道容量第16页2024-4-14(1)单符号离散信道的数学模型单符号离散信道的数学模型 信道模型信道模型设输入：设输入：Xx1,x2,xi,xn 输出：输出：Yy1,y2,yj,ym其信道模型：其信道模型：3.2单符号离散信道的信道容量第17页2024-4-14(1)单符号离散信道的数学模型单符号离散信道的数学模型 信道模型信道模型用线图描述：用线图描述：3.2单符号离散信道的信道容量第18页2024-4-14(1)单符号离散信道的数学模型单符号离散信道的数学模型 信道统计特性信道统计特性信道统计特性：信道统计特性：由信道转移概率描述。由信道转移概率描述。信道转移概率（信道
11、传递概率）：信道转移概率（信道传递概率）：条件概率条件概率 p(yj/xi)。信道特性表示：信道特性表示：用信道转移概率矩阵，简称用信道转移概率矩阵，简称信道矩阵。信道矩阵。反信道矩阵：反信道矩阵：由条件概率由条件概率 p(xi/yj)表示。表示。3.2单符号离散信道的信道容量第19页2024-4-14(1)单符号离散信道的数学模型单符号离散信道的数学模型 信道统计特性信道统计特性1211121121222212.(/)(/).(/)(/)(/).(/).(/)(/).(/)mmmnnnmnyyyxp yxp yxp yxxp yxp yxp yxxp yxp yxp yx 信信道道矩矩阵阵.
12、(/)(/).(/)(/)(/).(/).(/)(/).(/)1211121121222212nnnmmmnmxxxyp xyp xyp xyyp xyp xyp xyyp xyp xyp xy 反反信信道道矩矩阵阵3.2单符号离散信道的信道容量第20页2024-4-14(2)信道的信息传输率信道的信息传输率研究信道的目的：研究信道的目的：讨论信道中平均每个符号传送的信息讨论信道中平均每个符号传送的信息量量（信道的信息传输率）（信道的信息传输率）。信道的信息传输率：信道的信息传输率：就是平均互信息：就是平均互信息：R=I(X;Y)=H(X)H(X/Y)（比特（比特/符号）符号）平均互信息平均互
13、信息 I(X;Y)就是接收到符号就是接收到符号 Y 后平均每个符后平均每个符号获得的关于号获得的关于 X 的信息量的信息量3.2单符号离散信道的信道容量第21页2024-4-14(2)信道的信息传输率信道的信息传输率如果信源熵为如果信源熵为 H(X)，希望在信道输出端接收的信息量就是，希望在信道输出端接收的信息量就是 H(X)，由于干扰的存在，一般只能接收到，由于干扰的存在，一般只能接收到 I(X;Y)。输出端输出端 Y 往往只能获得关于输入往往只能获得关于输入 X 的部分信息，这是由于平均的部分信息，这是由于平均互信息性质决定的：互信息性质决定的：I(X;Y)H(X)。I(X;Y)是信源无条
14、件概率是信源无条件概率 p(xi)和信道转移概率和信道转移概率 p(yj/xi)的二元的二元函数：函数：3.2单符号离散信道的信道容量1()()(/)()()(/)njijiijijiip yp xp yxp x yp xp yx 2211111(/)(/)(;)()log()(/)log()()(/)nmnmjijiijijinijijjijiip yxp yxI X Yp x yp xp yxp yp xp yx 第22页2024-4-14(3)信道容量信道容量当信道特性当信道特性 p(yj/xi)固定后，固定后，I(X;Y)随信源概率分布随信源概率分布 p(xi)的的变化而变化。变化而变
15、化。调整调整 p(xi)，在接收端就能获得不同的信息量。由平均互信息，在接收端就能获得不同的信息量。由平均互信息的性质已知，的性质已知，I(X;Y)是是 p(xi)的上凸函数，因此总能找到一种的上凸函数，因此总能找到一种概率分布概率分布 p(xi)（即某一种信源），（即某一种信源），使信道所能传送的信息率使信道所能传送的信息率为最大。为最大。nimjniijiijijixypxpxypxypxpYXI1112)/()()/(log)/()();(3.2单符号离散信道的信道容量第23页2024-4-14(3)信道容量信道容量信道容量信道容量 C：单位时间的信道容量单位时间的信道容量 Ct：Ct
16、实际是信道的最大信息传输速率。实际是信道的最大信息传输速率。（比比特特秒秒）);(max1)(YXItCixpt（比比特特信信道道符符号号）);(maxmax)()(YXIRCiixpxp 3.2单符号离散信道的信道容量第24页2024-4-14(4)结论结论C 和和 Ct 都是求平均互信息都是求平均互信息 I(X;Y)的条件极大值问题，的条件极大值问题，当输入信源概率分布当输入信源概率分布 p(xi)调整好以后，调整好以后，C 和和Ct 已与已与 p(xi)无关，而仅仅是信道转移概率的函数，只与信道统无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；计特性有关；信道容量是完全信道容量是
17、完全描述信道特性描述信道特性的参量；的参量；信道容量是信道信道容量是信道能够传送的最大信息量能够传送的最大信息量。3.2单符号离散信道的信道容量第25页2024-4-14(1)离散无噪信道的信道容量离散无噪信道的信道容量(2)强对称离散信道的信道容量强对称离散信道的信道容量(3)对称离散信道的信道容量对称离散信道的信道容量(4)准对称离散信道的信道容量准对称离散信道的信道容量 3.2单符号离散信道的信道容量第26页2024-4-14(1)离散无噪信道的信道容量离散无噪信道的信道容量 具有一一对应关系的无噪信道具有一一对应关系的无噪信道 具有扩展性能的无噪信道具有扩展性能的无噪信道 具有归并性能
18、的无噪信道具有归并性能的无噪信道 结论结论3.2单符号离散信道的信道容量第27页2024-4-14(1)离散无噪信道的信道容量离散无噪信道的信道容量 具有一一对应关系的无噪信道具有一一对应关系的无噪信道（无噪无损信道）（无噪无损信道）信道线图信道线图3.2单符号离散信道的信道容量第28页2024-4-14(1)离散无噪信道的信道容量离散无噪信道的信道容量 具有一一对应关系的无噪信道具有一一对应关系的无噪信道（无噪无损信道）（无噪无损信道）信道矩阵信道矩阵3.2单符号离散信道的信道容量0.0010.0100.100.1.000 100.0010.0001.0.000.1第29页2024-4-14
19、(1)离散无噪信道的信道容量离散无噪信道的信道容量 具有一一对应关系的无噪信道具有一一对应关系的无噪信道（无噪无损信道）（无噪无损信道）因为信道矩阵中所有元素均是因为信道矩阵中所有元素均是“1”或或“0”，X 和和 Y 有确定的对有确定的对应关系：应关系：q 已知已知 X 后后 Y 没有不确定性，没有不确定性，q 收到收到 Y 后，后，X 也不存在不确定性，也不存在不确定性，q I(X;Y)=H(X)=H(Y)。当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量信道容量（信源（信源 X 的最大熵）：的最大熵）：噪声熵：噪声熵
20、：H(Y/X)=0损失熵损失熵/信道疑义度：信道疑义度：H(X/Y)=0符号）符号）（比特（比特/log)(max);(max2)()(nXHYXICiixpxp 3.2单符号离散信道的信道容量第30页2024-4-14(1)离散无噪信道的信道容量离散无噪信道的信道容量 具有扩展性能的无噪信道具有扩展性能的无噪信道（有噪无损信道）（有噪无损信道）n0损失熵损失熵/信道疑义度：信道疑义度：H(X/Y)=03.2单符号离散信道的信道容量第31页2024-4-14(1)离散无噪信道的信道容量离散无噪信道的信道容量 具有扩展性能的无噪信道具有扩展性能的无噪信道（有噪无损信道）（有噪无损信道）其信道矩阵
21、为：其信道矩阵为：)/()/(00000000)/()/()/(00000000)/()/()/(3837262524131211xypxypxypxypxypxypxypxyp3.2单符号离散信道的信道容量第32页2024-4-14(1)离散无噪信道的信道容量离散无噪信道的信道容量 具有扩展性能的无噪信道具有扩展性能的无噪信道（有噪无损信道）（有噪无损信道）虽然信道矩阵中的元素不全是虽然信道矩阵中的元素不全是“1”或或“0”，但由于每列中只，但由于每列中只有一个非零元素：已知有一个非零元素：已知 Y 后，后，X 不再有任何不确定度，不再有任何不确定度，信道容量为：信道容量为：此时输入端符号熵
22、小于输出端符号熵，此时输入端符号熵小于输出端符号熵，H(X)0损失熵损失熵/信道疑义度：信道疑义度：H(X/Y)=0I(X;Y)=H(X)H(X/Y)=H(Y)H(Y/X)=H(X)3.2单符号离散信道的信道容量第33页2024-4-14(1)离散无噪信道的信道容量离散无噪信道的信道容量 具有扩展性能的无噪信道具有扩展性能的无噪信道（有噪无损信道）（有噪无损信道）熵之间的关系：熵之间的关系：3.2单符号离散信道的信道容量第34页2024-4-14(1)离散无噪信道的信道容量离散无噪信道的信道容量 具有归并性能的无噪信道具有归并性能的无噪信道（无噪有损信道）（无噪有损信道）nm，输入，输入 X
23、的符号集个数大于输出的符号集个数大于输出 Y 的符号集个数：的符号集个数：噪声熵：噪声熵：H(Y/X)=0损失熵损失熵/信道疑义度：信道疑义度：H(X/Y)0 1000100100010013.2单符号离散信道的信道容量第35页2024-4-14(1)离散无噪信道的信道容量离散无噪信道的信道容量 具有归并性能的无噪信道具有归并性能的无噪信道（无噪有损信道）（无噪有损信道）信道矩阵中的元素非信道矩阵中的元素非“0”即即“1”，每行仅有一个非零元素，但，每行仅有一个非零元素，但每列的非零元素个数大于每列的非零元素个数大于 1：q 已知某一个已知某一个 xi 后，对应的后，对应的 yj 完全确定，完
24、全确定，q 收到某一个收到某一个 yj 后，对应的后，对应的 xi 不完全确定，不完全确定，信道疑义度信道疑义度 H(X/Y)0。噪声熵：噪声熵：H(Y/X)=0损失熵损失熵/信道疑义度：信道疑义度：H(X/Y)0I(X;Y)=H(X)H(X/Y)=H(Y)H(Y/X)=H(Y)3.2单符号离散信道的信道容量第36页2024-4-14(1)离散无噪信道的信道容量离散无噪信道的信道容量 具有归并性能的无噪信道具有归并性能的无噪信道（无噪有损信道）（无噪有损信道）信道容量为：信道容量为：这种信道的输入端符号熵大于输出端符号熵，这种信道的输入端符号熵大于输出端符号熵，H(X)H(Y)。注意：注意：在
25、求信道容量时，调整的始终是输入端的概率分布在求信道容量时，调整的始终是输入端的概率分布 p(xi)，尽管信道容量式子中平均互信息尽管信道容量式子中平均互信息 I(X;Y)等于输出端符号熵等于输出端符号熵 H(Y)，但是在求极大值时调整的仍然是输入端的概率分布但是在求极大值时调整的仍然是输入端的概率分布 p(xi)，而不能，而不能用输出端的概率分布用输出端的概率分布 p(yj)来代替。来代替。符号）符号）（比特（比特/log)(max);(max2)()(mYHYXICiixpxp 3.2单符号离散信道的信道容量第37页2024-4-14(1)离散无噪信道的信道容量离散无噪信道的信道容量 具有归
26、并性能的无噪信道具有归并性能的无噪信道（无噪有损信道）（无噪有损信道）熵之间的关系：熵之间的关系：3.2单符号离散信道的信道容量第38页2024-4-14(1)离散无噪信道的信道容量离散无噪信道的信道容量 具有归并性能的无噪信道具有归并性能的无噪信道（无噪有损信道）（无噪有损信道）举例举例：图图3-6的信道容量是的信道容量是 log23=1.585(比特比特/信道符号信道符号)，求要，求要达到这一信道容量对应的信源概率分布。达到这一信道容量对应的信源概率分布。q由信道矩阵得由信道矩阵得 p(y1)=p(x1)1+p(x2)1 p(y2)=p(x3)1+p(x4)1 p(y3)=p(x5)1q只
27、要只要 p(y1)=p(y2)=p(y3)=(1/3)，H(Y)达到最大值，即达到信达到最大值，即达到信道容量道容量 C。3.2单符号离散信道的信道容量 100010010001001第39页2024-4-14(1)离散无噪信道的信道容量离散无噪信道的信道容量 具有归并性能的无噪信道具有归并性能的无噪信道（无噪有损信道）（无噪有损信道）例例3-1：此时使此时使 p(y1)=p(y2)=p(y3)=(1/3)的信源概率分布的信源概率分布p(xi),i=1,2,3,4,5 存在，但不是惟一的。存在，但不是惟一的。这种信道的输入符号熵大于这种信道的输入符号熵大于输出符号熵，即输出符号熵，即 H(X)
28、H(Y)。1000100100010013.2单符号离散信道的信道容量第40页2024-4-14(1)离散无噪信道的信道容量离散无噪信道的信道容量 结论结论无损信道的信道容量无损信道的信道容量 C 只决定于信道的输入符号数只决定于信道的输入符号数 n，与信源无关。与信源无关。无噪信道的信道容量无噪信道的信道容量 C 只决定于信道的输出符号数只决定于信道的输出符号数 m，与信源无关。与信源无关。3.2单符号离散信道的信道容量第41页2024-4-14(2)强对称离散信道的信道容量强对称离散信道的信道容量 什么是强对称离散信道什么是强对称离散信道 强对称信道矩阵特点强对称信道矩阵特点 强对称离散信
29、道的信道容量强对称离散信道的信道容量 输入是什么概率分布时达到信道容量输入是什么概率分布时达到信道容量 二进制均匀信道二进制均匀信道3.2单符号离散信道的信道容量第42页2024-4-14(2)强对称离散信道的信道容量强对称离散信道的信道容量 什么是强对称离散信道什么是强对称离散信道单符号离散信道的单符号离散信道的 X 和和 Y 取值均由取值均由 n 个不同符号组成，即个不同符号组成，即Xx1,x2,xi,xn，Yy1,y2,yj,yn每每信道矩阵为：信道矩阵为：111111.ppnnppnnn nppnnppPp 3.2单符号离散信道的信道容量1pp 个个符符号号的的正正确确传传递递概概率率
30、为为：(1)1pnn 其其它它个个符符号号的的错错误误传传递递概概率率为为：第43页2024-4-14(2)强对称离散信道的信道容量强对称离散信道的信道容量 什么是强对称离散信道什么是强对称离散信道这种信道称为这种信道称为信道。信道。这类信道中这类信道中：总的错误概率是：总的错误概率是 p，对称平均地分配给，对称平均地分配给(n1)个输出符号。个输出符号。信道矩阵中每行之和等于信道矩阵中每行之和等于 1，每列之和也等于，每列之和也等于 1。一般信道。一般信道矩阵中，每列之和不一定等于矩阵中，每列之和不一定等于 1。3.2单符号离散信道的信道容量第44页2024-4-14(2)强对称离散信道的信
31、道容量强对称离散信道的信道容量 强对称信道矩阵特点强对称信道矩阵特点强对称信道矩阵，它的每一行和每一强对称信道矩阵，它的每一行和每一 列都是同一集合各个元素的不同排列。列都是同一集合各个元素的不同排列。由平均互信息定义：由平均互信息定义：11(1),.,ppnnnp 144424443144424443个个 njijijnininiiijninjijixypxypHHxpxypxypxpXYHXYHYHYXI121112)/(log)/()()/(log)/()()/()/()();(其其中中令令：其其中中条条件件熵熵：3.2单符号离散信道的信道容量第45页2024-4-14(2)强对称离散信
32、道的信道容量强对称离散信道的信道容量 强对称信道矩阵特点强对称信道矩阵特点Hni 的意义：的意义：是固定是固定 X=xi 时对时对 Y 求和，相当于在信道矩阵中求和，相当于在信道矩阵中选定了某一行，对该行上各列元素的自信息求加权和。由于选定了某一行，对该行上各列元素的自信息求加权和。由于信道的对称性，每一行都是同一集合的不同排列，所以：信道的对称性，每一行都是同一集合的不同排列，所以：当当 xi 不同时，不同时，Hni 只是求和顺序不同，求和结果完全一样。只是求和顺序不同，求和结果完全一样。所以所以Hni 与与 X 无关，是一个常数。无关，是一个常数。22log(1)(log)11nippHp
33、pnnn 3.2单符号离散信道的信道容量 njijijnixypxypH12)/(log)/(第46页2024-4-14(2)强对称离散信道的信道容量强对称离散信道的信道容量 强对称信道矩阵特点强对称信道矩阵特点因此：因此：)(max)()/()();()()/()(1nixpninininiiHYHCHYHXYHYHYXIHHxpXYHi 所以：所以：3.2单符号离散信道的信道容量第47页2024-4-14(2)强对称离散信道的信道容量强对称离散信道的信道容量 强对称离散信道的信道容量强对称离散信道的信道容量 如何达到信道容量如何达到信道容量：求一种输入分布使求一种输入分布使 H(Y)取最大
34、值。取最大值。q 现已知输出符号集现已知输出符号集 Y 共有共有 n 个符号，则个符号，则 H(Y)log2n。根据。根据最大离散熵定理，只有当最大离散熵定理，只有当 p(yj)=(1/n)，即输出端呈等概率分，即输出端呈等概率分布时，布时，H(Y)才达到最大值才达到最大值 log2n。3.2单符号离散信道的信道容量第48页2024-4-14(2)强对称离散信道的信道容量强对称离散信道的信道容量 强对称离散信道的信道容量强对称离散信道的信道容量 如何达到信道容量如何达到信道容量：q 要获得这一最大值，可通过下面公式寻找相应的输入概率要获得这一最大值，可通过下面公式寻找相应的输入概率分布；分布；
35、q 现一般情况下不一定存在一种输入符号的概率，使输出符现一般情况下不一定存在一种输入符号的概率，使输出符号达到等概率分布。但强对称离散信道存在。号达到等概率分布。但强对称离散信道存在。1()()(/)1,2,.,njijiip yp x p yxjn 3.2单符号离散信道的信道容量第49页2024-4-14(2)强对称离散信道的信道容量强对称离散信道的信道容量 输入是什么概率分布时达到信道容量输入是什么概率分布时达到信道容量强对称离散信道的输入和输出之间概率关系可用矩阵表示为：强对称离散信道的输入和输出之间概率关系可用矩阵表示为：3.2单符号离散信道的信道容量 111112221111()()
36、().()()().()()().ppnnppTnnn nppnnnnnp yp xp xpp yp xp xpPp yp xp xp TTn nn nn nn nPPPP 其其中中是是的的转转置置，对对于于对对称称矩矩阵阵，第50页2024-4-14(2)强对称离散信道的信道容量强对称离散信道的信道容量 输入是什么概率分布时达到信道容量输入是什么概率分布时达到信道容量信道矩阵中的每一行都是由同一集合信道矩阵中的每一行都是由同一集合 中的诸元素的不同排列组成，所以保中的诸元素的不同排列组成，所以保 证了证了当输入符号当输入符号 X 是等概率分布，是等概率分布，即即 p(xi)=(1/n)时，输
37、出符号时，输出符号 Y 一定是等概率分布，这时一定是等概率分布，这时 H(Y)=log2n。相应的信道容量为：。相应的信道容量为：22222loglog,.,11logloglog/1nippCnHnH pnnpnpppn （比比特特 信信道道符符号号）3.2单符号离散信道的信道容量11(1),.,ppnnnp 144424443144424443个个22log(1)(log)11nippHppnnn 第51页2024-4-14(2)强对称离散信道的信道容量强对称离散信道的信道容量 输入是什么概率分布时达到信道容量输入是什么概率分布时达到信道容量结论：结论：这个信道容量只与信道的输出符号数这个
38、信道容量只与信道的输出符号数 n 和相应信道矩和相应信道矩阵中的任一行矢量有关。阵中的任一行矢量有关。3.2单符号离散信道的信道容量第52页2024-4-14(2)强对称离散信道的信道容量强对称离散信道的信道容量 二进制均匀信道二进制均匀信道当当 n=2 时的强对称离散信道就是二进制均匀信道。时的强对称离散信道就是二进制均匀信道。二进制均匀信道的信道容量为：二进制均匀信道的信道容量为：二进制均匀信道容量二进制均匀信道容量 曲线如图曲线如图3.2.6所示。所示。pppppHpHppppC2222loglog)()(1loglog1 其其中中：3.2单符号离散信道的信道容量第53页2024-4-1
39、4(3)对称离散信道的信道容量对称离散信道的信道容量 可排列性可排列性 对称离散信道定义对称离散信道定义 对称离散信道的信道容量对称离散信道的信道容量3.2单符号离散信道的信道容量第54页2024-4-14(3)对称离散信道的信道容量对称离散信道的信道容量 可排列性可排列性行可排列：行可排列：一个矩阵的每一行都是同一集合一个矩阵的每一行都是同一集合 Qq1,q2,qm 中诸元素的不同排列。中诸元素的不同排列。列可排列：列可排列：一个矩阵的每一列都是同一集合一个矩阵的每一列都是同一集合 Pp1,p2,pn中诸元素的不同排列。中诸元素的不同排列。矩阵可排列（具有可排列性）：矩阵可排列（具有可排列性
40、）：一个矩阵的行和列都是可排一个矩阵的行和列都是可排列的列的。3.2单符号离散信道的信道容量第55页2024-4-14(3)对称离散信道的信道容量对称离散信道的信道容量 对称离散信道定义对称离散信道定义 对称离散信道：对称离散信道：信道矩阵具有可排列性。信道矩阵具有可排列性。对称离散信道行、列集合的特点：对称离散信道行、列集合的特点：q 当当 mn 时，时，P 是是 Q 的子集。的子集。q 当当 m=n 时，时，Q 和和 P 中的所有元素重合，中的所有元素重合，Q 和和 P 是同一集是同一集合。合。3.2单符号离散信道的信道容量第56页2024-4-14(3)对称离散信道的信道容量对称离散信道
41、的信道容量 对称离散信道定义对称离散信道定义举例：举例：111133661111166331 1 1 11 13 3 6 63 6PQPmnPQ 对对称称信信道道，是是的的子子集集11123611126231113621 1 12 3 6PmnPQ 对对称称信信道道，和和 是是同同一一集集合合3.2单符号离散信道的信道容量第57页2024-4-14(3)对称离散信道的信道容量对称离散信道的信道容量 对称离散信道定义对称离散信道定义举例：举例：1111336632111163630.70.20.10.20.10.7PP不不对对称称信信道道3.2单符号离散信道的信道容量第58页2024-4-14(
42、3)对称离散信道的信道容量对称离散信道的信道容量 对称离散信道的信道容量对称离散信道的信道容量3.2单符号离散信道的信道容量(/)mimiHXH YXH 由由于于信信道道的的对对称称性性，每每一一行行都都是是同同一一集集合合诸诸元元素素的的不不同同排排列列，所所以以也也是是与与输输入入 无无关关的的常常数数，故故，mjijijmiminiiijnimjijixypxypHHxpYHxypxypxpYHXYHYHYXI121211)/(log)/()()()/(log)/()()()/()();(其其中中：1212(;)()()(,.,),.,mimmI X YH YHH YH q qqq qq
43、 因因此此：其其中中，为为信信道道矩矩阵阵中中的的任任一一行行的的元元素素第59页2024-4-14(3)对称离散信道的信道容量对称离散信道的信道容量 对称离散信道的信道容量对称离散信道的信道容量对称离散信道的信道容量与强对称的形式相同，只是这里对称离散信道的信道容量与强对称的形式相同，只是这里 mn。由于对称信道的特点，其信道矩阵中每一列都是由同一集合由于对称信道的特点，其信道矩阵中每一列都是由同一集合中的诸元素的不同排列组成，所以保证了当中的诸元素的不同排列组成，所以保证了当 X 等概率分布时，等概率分布时，Y 也是等概率分布，从而使也是等概率分布，从而使 Y 的熵达到最大值的熵达到最大值
44、 log2m，即信，即信道容量。道容量。),.,(log)(max212)(mmixpqqqHmHYHCi 信信道道容容量量为为：3.2单符号离散信道的信道容量第60页2024-4-14(4)准对称离散信道的信道容量准对称离散信道的信道容量准对称离散信道定义：准对称离散信道定义：一个一个 n 行行 m 列单符号离散信道列单符号离散信道矩阵矩阵 P 的行可排列，列不可排列。但是矩阵中的的行可排列，列不可排列。但是矩阵中的 m 列列可分成可分成 S 个不相交的子集，各子集分别有个不相交的子集，各子集分别有m1,m2,ms个元素（个元素（m1+m2+ms=m），由），由 n 行行 mk(k=1,2,
45、s)列组成的子矩阵列组成的子矩阵 Pk 具有可排列性。具有可排列性。3.2单符号离散信道的信道容量第61页2024-4-14(4)准对称离散信道的信道容量准对称离散信道的信道容量举例举例 行具有可排列性，列不具有可排列性，但把矩阵的前两列和行具有可排列性，列不具有可排列性，但把矩阵的前两列和后两列分成互不相交的子集，构成两个子矩阵后两列分成互不相交的子集，构成两个子矩阵 两个子矩阵均是可排列的，故信道两个子矩阵均是可排列的，故信道 P 是准对称信道。是准对称信道。3.2单符号离散信道的信道容量111188241211118842PP 1111248811114288P 第62页2024-4-1
46、4(4)准对称离散信道的信道容量准对称离散信道的信道容量准对称离散信道容量为：准对称离散信道容量为：可以证明：可以证明：21221log(,.,)logSmsssCnH q qqNM 12(,.,)(/)(/)(1,2,.,)kmssiyYssikXnqqqSNsNp yxMMp yxyYkm 其其 中中：是是 输输 入入 符符 号号 集集 的的 个个 数数 为为 准准 对对 称称 信信 道道 矩矩 阵阵 中中 的的 行行 元元 素素 设设 矩矩 阵阵 可可 以以 划划 分分 成成个个 互互 不不 相相 交交 的的 子子 集集 是是 第第 个个 子子 矩矩 阵阵 中中 的的 行行 元元 素素
47、之之 和和：是是 第第 s s个个 子子 矩矩 阵阵 中中 的的 列列 元元 素素 之之 和和：思考思考？3.2单符号离散信道的信道容量第63页2024-4-14(4)准对称离散信道的信道容量准对称离散信道的信道容量例例3-2：二元对称删除信道二元对称删除信道 信道转移矩阵为：信道转移矩阵为：它是准对称信道它是准对称信道 qpqppqqpP113.2单符号离散信道的信道容量第64页2024-4-14(4)准对称离散信道的信道容量准对称离散信道的信道容量例例3-2：若若 p=0 就称为：就称为：二元纯对称删除信道二元纯对称删除信道 qqqqP10013.2单符号离散信道的信道容量1Cq （比比特特/符符号号）第65页2024-4-14P.643-3 3-12 3-14补充题补充题3：with 0,1,as both input and output,the transition probabilites for 0 to 0 and 1 are 1 and respectively while those for 1 to 1 and 0 are 1 and respectively.Assuming that 01 and 01,find the capacity of the channel.
