1、主要内容n信道分类与表示方法n信道容量的计算1第3章信道与信道容量q信道分类和表示参数q离散单个符号信道及其容量23.1信道分类和表示参数n信道分类 用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类：随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、波形信道33.1信道分类和表示参数n信道参数号之间统计的依赖关系来描述信道输入输出信条件概率输出矢量为输入矢量为设信道)(,),(,),(121121Y/XYXpbbXYY，YaaXXXXmjjnii43.1信道分类和表示参数信道种类1、无干扰（无噪声）信道)(,0)(,1)(Xf
2、YXfYXYp2、有干扰无记忆信道信道的输出信号Y与输入信号X之间又确定的关系。信道的输出信号Y与输入信号X之间没有确定关系)|()|()|()|(2211LLxypxypxypXYp53.1信道分类和表示参数1）二进制对称信道（BSC）pppp11P 1-p 1-p p p 0 1 1 0 由于这种信道的输出比特仅与对应时刻的一个输入比特有关，而与以前的输入无关，所以这种信道是无记忆的63.1信道分类和表示参数2)离散无记忆信道nmnnmmppppppppp212222111211P b2 a2 a1 an bm b1 mjijniabp1,2,1 ,1)|(73.1信道分类和表示参数n设计
3、和分析离散信道编码、解码器的性能 DMC信道模型n分析性能的理论极限，则多用离散输入、连续输出83.2离散单个符号信道及其容量n信息传输率n信道在单位时间内平均传输的信息量定义为信息传输速率nR=I(X;Y)=H(X)H(X/Y)比特/符号nRt=I(X;Y)/t 比特/秒93.2离散单个符号信道及其容量n信道容量);(max)(YXICiap比特/符号（bits/symbol或bits/channel use）对于某特定信道，若转移概率)|(ijabp已经确定，则互信息就是关于输入符号分布函数)(iap型凸函数如果已知符号传送周期是T秒，也可以“秒”为单位来计算信道容量，此时TCCt/Bit
4、/s、nat/s注：对于特定的信道，信道容量是个定值，但在传输信息时信道能否提供最大传输能力，则取决于输入端的概率分布。103.2离散单个符号信道及其容量3.2.1无干扰离散信道的信道容量X、Y一一对应CmaxI(X;Y)log n多个输入变成一个输出CmaxI(X;Y)maxH(Y)一个输入对应多个输出CmaxI(X;Y)maxH(X)113.2离散单个符号信道及其容量n对称DMC信道定义n输入对称n如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称n输出对称n如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称n对称对称的的DMC信信道
5、道n如果输入、输出都对称123.2离散单个符号信道及其容量n对称DMC信道例子3131616161613131216131312161613121133.2离散单个符号信道及其容量输入对称输出对称无关与iabpabpjijij)/(log)/()/()/(log)/()/(log)/()()/(ijijijjijijiixYHabpabpabpabpapXYHiijiijijabpnabpapbp)/(1)/()()(143.2离散单个符号信道及其容量n对称信道容量)/()(max)|()(max)|()(max);(max)()()()(XYHYHXYHYHYXHXHYXICiiiiapap
6、apapmjijijippmaYHmC1loglog)|(log153.2离散单个符号信道及其容量nEg.求信道容量3131616161613131P符号/082.0)61,61,31,31(4log2bitHC16第六讲n复习离散单个符号的信道及其容量信道的描述对称DMC信道及其信道容量的计算n本节内容准对称DMC信道一般DMC信道离散序列信道及其容量173.2离散单个符号信道及其容量nEg.求信道容量111111111nnnnnnP 信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特
7、例)1,1,1(lognnHnC183.2离散单个符号信道及其容量n二进制对称信道容量nC1H（）00.20.40.60.8100.20.40.60.81193.2离散单个符号信道及其容量n串联信道信道 1 信道 2 信道 m串联信道 C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)203.2离散单个符号信道及其容量nEg.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量1121PP222221)1()1(2)1(2)1(1111PPP213.2离散单个符号信道及其容量n信道容量nI(X;Y)=1-H()，I(X;Z)=1-H2(1-)00.5100.
8、20.40.60.81m=1 m=2 m=3 223.2离散单个符号信道及其容量n准对称DMC信道n如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称准对称DMC信道3/16/13/16/16/16/13/13/11P7.01.02.02.01.07.02P233.2离散单个符号信道及其容量n准对称DMC信道容量n对于准对称对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量)/()(max)|()(max);(max)()()(XYHYHYXHXHYXICiiiapapap243.2离散单个符号信
9、道及其容量nEg.求信道容量2.05.03.02.03.05.0P 方法一：信道的输入符号有两个，可设p(a1)，p(a2)1信道的输出符号有三个，用b1、b2、b3表示ijijbapbp)()(2.0)1(2.02.0)(2.05.0)1(5.03.0)(2.03.0)1(3.05.0)(321bpbpbp0);(YXI符号/036.0);(maxbitYXIC253.2离散单个符号信道及其容量n当p(a1)p(a2)1/2时，p(b1)p(b2)(1-0.2)/20.4nC=H(Y)-H(Y/X)=0.036bit/符号n方法二n将转移概率矩阵划分成若干个互不相交的对称的子集rkkksMN
10、pppHnC121log),(log n为输入符号集个数；p1，p2，ps是转移概率矩阵P中一行的元素，即H(p1，p2，ps)H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数263.2离散单个符号信道及其容量n方法二2.05.03.02.03.05.0P2.02.0,5.03.03.05.0符号/036.04.0log2.08.0log8.0)2.0,3.0,5.0(2log222bitHC273.2离散单个符号信道及其容量nEg.求信道容量3/16/13/16/16/16/13/13/11P符号/041.0)6/16/1(log6/1)
11、3/13/1(log3/1)6/13/1(log)6/13/1()6/1,6/1,3/1,3/1(2log2222bitHC283.2离散单个符号信道及其容量n一般DMC信道 1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法 I(ai;Y)=C 对于所有满足p(ai)0条件的I I(ai;Y)C 对于所有满足p(ai)=0条件的I当信道平均互信息达到信道容量时，输入符号概率集p(ai)中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外293.3离散序列信道及其容量 n离散序列信道 信道 p(Y/X)Y X X=(X
12、1X2XL)Xla1,a2,an Y=(Y1Y2YL)Yl b1,b2,bm303.3离散序列信道及其容量 n离散无记忆序列信道 LlllLLXYpXXYYpp111)/()/()/(XY1 1 1 1 1进一步信道是平稳的)/()/(xyppLXY)()/(log)()/()()()/(log)()/()();(YXYXYXYXXYYXpppXYHYHpppYXHXHILLLLLL313.3离散序列信道及其容量 n离散无记忆序列信道 1 1 1 1 1如果信道无记忆 如果输入矢量X X中的各个分量相互独立 LlllYXII1);();(YXLlllYXII1);();(YXLlLlllPLl
13、llPPLlCYXIYXIICX111)();(max);(max);(maxXXYX当信道平稳时CL=LC1，一般情况下，I(X X;Y Y)LC1323.3离散序列信道及其容量 1 1 1 1 1BSC的二次扩展信道 X X00,01,10,11，Y Y00,01,10,11，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p20010110100011011扩展信道如果对离散单符号信道进行
14、L次扩展，就形成了L次离散无记忆序列信道 333.3离散序列信道及其容量 n扩展信道1 1 1 122222222)1()1()1()1()1()1()1()1()1()1()1()1(ppppppppppppppppppppppppP),1(),1(,)1(4log2222ppppppHC若p0.1，则C220.9381.062比特/序列 343.3离散序列信道及其容量 n独立并联信道n序列的转移概率p(Y1Y2YL/X1X2XL)=p(Y1/X1)p(Y2/X2)p(YL/XL)1 1 1 1X1 p(Y1/X1)Y1X2 p(Y2/X2)Y2 XL p(YL/XL)YL LlllYXII
15、1);();(YXLllLCIC112);(maxYX353.4 连续信道及其容量 n连续单符号加性信道 x(xR)p(y/x)y(yR)连续单符号信道 npn(n)N(0,2)平均互信息为I(X;Y)HC(X)HC(X/Y)HC(Y)HC(Y/X)HC(X)HC(Y)HC(XY)信道容量)/()(max);(max)()(XYHYHYXICCCxpxp2)()(2log21)(max)()(maxeYHnHYHCCxpCCxp噪声是均值为零、方差为2的加性高斯噪声 363.4 连续信道及其容量 n连续单符号加性信道 pY(y)N(0,P)，pn(n)N(0,2)，y=x+n，所以pX(x)N
16、(0,S)1log(21log212log212log21222SPeePCC1/2 log(1+SNR)信道输入X是均值为零、方差为S的高斯分布随机变量时，信息传输率达到最大值 若是加性的，可以求出信道容量的上下界)(2log21)1log(212nHePCSC373.4 连续信道及其容量 n多维无记忆加性连续信道 信道输入随机序列XX1X2XL，输出随机序列YY1Y2YL，加性信道有y=x+n，其中n=n1n2nL 是均值为零的高斯噪声 加性信道 输入序列 x 输出序列 y 高斯噪声 n XX1X2XL YY1Y2YL n=n1n2nL +X1 Y1=X1+n1 X1+X2 Y2=X2+n
17、2+XL YL=XL+nL 383.4 连续信道及其容量 连续单符多维无记忆高斯加性信道就可等价成L个独立的并联高斯加性信道号加性信道 LlllLlLLPYXII121)1log(21);();(YXLlllpPIC12)()1log(21);(maxYXx比特/L维自由度 因此当且仅当输入随机矢量X中各分量统计独立，且是均值为零、方差为Pl的高斯变量时，才能达到此信道容量 393.4 连续信道及其容量 n讨论均值为零、方差相同)1log(22SLC均值为零、方差不同，总平均功率受限 LllLiiLPC1212log21403.4 连续信道及其容量 n讨论PPXEXELllLllLll1121
18、2LllLlllLPPPPPf11221)1log(21),(LlPPPPflL,2,1,0),(21LlPll,2,1,01212LlPll,2,1,212各个时刻的信道输出功率相等设为常数n LPll2n2122lLiillLPPn413.4 连续信道及其容量 neg有一并联高斯加性信道，各子信道噪声方差为 0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0 212223242526272829210423.4 连续信道及其容量 n限时限频限功率加性高斯白噪声信道 波形信道的平均互信息为)()()(lim)/()(lim)/()(lim);(lim)();(XY
19、YXXYYYXXYXCCCLCCLCCLLHHHHHHHItytxI信道容量为 sbitItCBtptB/);(1limmax)(YXx433.4 连续信道及其容量 n限时限频限功率加性高斯白噪声信道 限频(W)高斯白噪声过程可分解L2WtB维统计独立的随机序列 其中：LlllPC12)1log(2122/22002NWttWNPBBnlWPWttPPSBBSl22/443.4 连续信道及其容量 n限时限频限功率加性高斯白噪声信道)1log()1log(2)2/21log(2000WNPWTWNPLNWPLCSSS信道的容量 秒/)1log(lim0bitWNPWTCCSTt单位时间的信道容量
20、 香农公式香农公式 453.4 连续信道及其容量 n讨论带宽W一定时，信噪比SNR与信道容量Ct成对数关系 Ct SNR信道容量与信噪比的关系463.4 连续信道及其容量 n讨论当输入信号功率PS一定，增加信道带宽，可以增加容量xSWSSSWtWxNPWNPPWNNPCC/10000)1log(lim)1log(limlim秒/2ln)1ln(2lnlim0/10bitNPxNPSxSWln(1+x)x PS/N0ln 2-1.6dB，即当带宽不受限制时，传送1比特信息，信噪比最低只需-1.6dB（香农限）香农限）sbitC/1473.4 连续信道及其容量 n讨论Ct一定时，带宽W增大，信噪比SNR可降低，即两者是可以互换的 Ct/W(bit/s/Hz)不可实现区域 可实现区域 1 -1.6 0 SNR(dB)频带利用率与信噪比的关系48p 经常不断地学习,你就什么都知道。你知道得越多,你就越有力量p Study Constantly,And You Will Know Everything.The More You Know,The More Powerful You Will Be写在最后谢谢大家荣幸这一路，与你同行ItS An Honor To Walk With You All The Way演讲人：XXXXXX 时 间：XX年XX月XX日
