1、4.2.3 离散信道容量的一般计算方法(1)离散信道容量的计算方法离散信道容量的计算方法(2)用拉格朗日乘子法求信道容量用拉格朗日乘子法求信道容量(3)一般离散信道容量计算步骤一般离散信道容量计算步骤(4)举例举例(1)离散信道容量的计算方法对一般离散信道求信道容量，就是在固定信道条件下，对一般离散信道求信道容量，就是在固定信道条件下，对所有可能的输入概率分布对所有可能的输入概率分布p(xi)，求平均互信息的极，求平均互信息的极大值。大值。由于由于I(X;Y)是输入概率分布是输入概率分布p(xi)的上凸函数，所以极的上凸函数，所以极大值一定存在。大值一定存在。因为因为I(X;Y)是是n个变量个
2、变量p(x1),p(x2),p(xn)的多元函数，的多元函数，并满足并满足 ，所以可用拉格朗日乘子法计算这个，所以可用拉格朗日乘子法计算这个条件极值。条件极值。niixp11)(2)用拉格朗日乘子法求信道容量引进一个新函数引进一个新函数 其中其中为拉格朗日乘子，解方程组为拉格朗日乘子，解方程组 可得一般信道容量可得一般信道容量C。1(;)()1(4.2.20)niiI X Yp x 1(;)()1()()0niiiiI X Yp xp xp x()()1()()(/)(4.2.22)(/)jindp yjijijidp xip yp x p yxp yx由有(4.2.21)将将I(X;Y)的表
3、达式代入的表达式代入(4.2.21)得得整理得整理得mjijijmjijjijniniiijmjijimjjjxpxypxypexypypxypxpxypxypxpypypi12122112112)(0)/(log)/(log)/()(log)/(01)()/(log)/()()(log)(求偏导得(/)22()11(/)222()111(/)loglog(/)1()()(/)log()(log)log(4.2.24)jijjijmp yxjip yjmjiijnmnp yxijiip yijip yxep yxp xp x p yxp xee其中上式两边乘以并求和(4.2.23)(2)(2)
4、用拉格朗日乘子法求信道容量式式(4.2.24)左边为平均互信息的极大值，即左边为平均互信息的极大值，即22211212211log(4.2.25)(4.2.23)(/)log(/)(/)log()(/)log()log()(4.2.26)(/)log(/)(/)(4.2.27)(4.2.27)mmjijijijjjmjijjjjmmjijijijjjjCep yxp yxp yxp yCp yxp yCp yCp yxp yxp yx式代入得令则由和信道矩阵求出，再由(4.2.26)()2(4.2.28)jCjp y得(4.2.25)(2)(2)用拉格朗日乘子法求信道容量11121()221,
5、22log2(4.2.29)(4.2.22)()jjjmmmCCjjjjmjijp yCp x上式两边对 求和得求出信道容量再根据求出对应对输入概率分布。1()()(/)(4.2.22)njijiip yp x p yx(2)(2)用拉格朗日乘子法求信道容量(3)一般离散信道容量计算步骤一般离散信道容量对计算步骤总结如下：一般离散信道容量对计算步骤总结如下：。求由；，求由；，求由；，求由)(,)/()()()(2)(2log)/(log)/()/(112121iniijijjCjmjjmjijijmjjijxpxypxpypypypCCxypxypxypjj注意：注意：在第步信道容量在第步信道
6、容量C被求出后，计算并没有结束，必被求出后，计算并没有结束，必须解出相应的须解出相应的p(xi)，并确认所有的，并确认所有的p(xi)0时，所求时，所求的的C才存在。才存在。在对在对I(X;Y)求偏导时，仅限制求偏导时，仅限制 ，并没有限，并没有限制制p(xi)0，所以求出的，所以求出的p(xi)有可能为负值，此时有可能为负值，此时C就就不存在，必须对不存在，必须对p(xi)进行调整，再重新求解进行调整，再重新求解C。近年来人们一般采用计算机，运用迭代算法求解。近年来人们一般采用计算机，运用迭代算法求解。niixp11)(3)(3)一般离散信道容量计算步骤(4)举 例例例4.2.2有一信道矩阵
7、有一信道矩阵 ，求信道容量，求信道容量C。10121111222122221221(/)(/)log(/)0(1)log(1)log(1)loglog(1)log(1)1log2log1(1)jmmjijjijijjmjp yxp yxp yxCC 由，有由，有因为因为是条件转移概率是条件转移概率p(y1/x2)，所以，所以01，从而有，从而有 p(x1)0，p(x2)0，保证了，保证了C的存在。的存在。11211111222111)1(1)1()(,)1(1)1()()1)()(,)()()(,)/()()(xpxpxpypxpxpypxypxpypniijij解得由111112111()2
8、21(1)()2,()1()1(1)1(1)jmmCjjjCp yp yp yp y 由，有(4)举 例4.3 多符号离散信道 如果在不同时刻有多个来自于同一信源的随机变量（多如果在不同时刻有多个来自于同一信源的随机变量（多符号信源）通过离散信道传输，称这种信道为符号信源）通过离散信道传输，称这种信道为多符号离散多符号离散信道信道。4.3.1 多符号离散信道的数学模型多符号离散信道的数学模型4.3.2 离散无记忆信道和独立并联信道的信道容量离散无记忆信道和独立并联信道的信道容量4.3.1 多符号离散信道的数学模型l多符号离散信道定义多符号离散信道定义定义：多符号离散信源定义：多符号离散信源X
9、X=X1X2XN在在N个不同时刻分别通过单个不同时刻分别通过单符号离散信道符号离散信道X P(Y/X)Y，则在输出端出现相应的随机序列，则在输出端出现相应的随机序列Y Y=Y1Y2YN，这样形成一个新的信道称为，这样形成一个新的信道称为多符号离散信道多符号离散信道。由于新信道相当于单符号离散信道在由于新信道相当于单符号离散信道在N个不同时刻连续运用了个不同时刻连续运用了N次，所以也称为单符号离散信道次，所以也称为单符号离散信道X P(Y/X)Y的的N次扩展。次扩展。l多符号离散信道数学模型多符号离散信道数学模型设信源矢量设信源矢量X X的每一个随机变量的每一个随机变量Xk(k=1,2,N)均取
10、自并取遍于信均取自并取遍于信道的输入符号集道的输入符号集x1,x2,xn，则信源共有，则信源共有nN个不同的元素个不同的元素ai(i=1,2,nN)。NNniiiiiiininiiixxxxxxxxxaNN,2,1,2,1,)(212121214.3 多符号离散信道该信源通过多符号离散信道该信源通过多符号离散信道X P(Y/X)Y后，相对于每一个后，相对于每一个ai，信，信道输出端输出一个相应的、由道输出端输出一个相应的、由N个符号组成的输出符号序列个符号组成的输出符号序列bj。NNmjjjjjjjmjmjjjyyyyyyyyybNN,2,1,2,1,)(212121214.3.1 多符号离散
11、信道的数学模型4.3 多符号离散信道)/()/()/()/()/()/()/()/()/(212222111211NNNNNNnmnnmmabpabpabpabpabpabpabpabpabp 多符号离散信道多符号离散信道/单符号离散信单符号离散信 道的道的N次扩展信道数学模型如次扩展信道数学模型如 图所示。图所示。它的输入输出关系可表示为它的输入输出关系可表示为 信道矩阵：信道矩阵：l单符号离散信道的单符号离散信道的N次扩展信道的数学模型次扩展信道的数学模型 单符号离散信道的单符号离散信道的N次扩展信道数学模型如图所示次扩展信道数学模型如图所示4.3.2 离散无记忆信道和独立并联信道的信道容
12、量4.3 多符号离散信道l单符号离散无记忆信道与其单符号离散无记忆信道与其N次扩展信道传递概次扩展信道传递概率之间的关系率之间的关系无记忆性无记忆性：离散信道在时刻：离散信道在时刻k的输出随机变量的输出随机变量Yk只与时刻只与时刻k的输入的输入随机变量随机变量Xk(k=1,2,N)有关，与有关，与k时刻之前的输入随机变量时刻之前的输入随机变量X1X2Xk-1和输出随机变量和输出随机变量Y1Y2Yk-1无关。无关。无预感性无预感性：k时刻之前的输出随机变量序列时刻之前的输出随机变量序列Y1Y2Yk-1只与只与k时刻时刻之前的输入随机变量序列之前的输入随机变量序列X1X2Xk-1有关，与以后的第有
13、关，与以后的第k时刻的时刻的输入随机变量输入随机变量Xk无关。无关。离散无记忆信道的离散无记忆信道的N次扩展信道次扩展信道4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道NkijijijijiiijjjijNkkkNNNNkkNNNNxypxypxypxypxxxyyypabpXYPXYPXYPXYPXXXYYYPP1122112121)/()/()/()/()/()/()/()/()/()/()/()/(22112121或者XY离散无记忆信道的离散无记忆信道的N次扩展信道的传递概率等于各单位时刻相应次扩展信道的传递概率等于各单位时刻相应的单符号离散无记忆信道的传递概率
14、的连乘。的单符号离散无记忆信道的传递概率的连乘。离散无记忆信道的离散无记忆信道的N次扩展信道既是无记忆的，又是无预感的。次扩展信道既是无记忆的，又是无预感的。即输出随机变量即输出随机变量Yk只与对应的输入随机变量只与对应的输入随机变量Xk有关。有关。离散无记忆信道的离散无记忆信道的N次扩展信道的数学模型可以用下图表示次扩展信道的数学模型可以用下图表示4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道l单符号离散无记忆信道与其单符号离散无记忆信道与其N次扩展信道平均互次扩展信道平均互信息之间的关系信息之间的关系离散无记忆信道离散无记忆信道N次扩展信道两端的平均互信息为次扩展
15、信道两端的平均互信息为I(X X;Y Y)=H(Y Y)H(Y Y /X X)平均互信息公式平均互信息公式4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道 mjijninimjmjiiiNNiijjiijjnimjiikkkNNNkNNNNNNNNkxypxxpxpXYHXYHXYHxxyypxxyypxxpH111112211211,2,1,1)/()()()/()/()/()/(log)/()()/(11111111其中XYNkkkNXYHYYYHHHI121)/()()/()();(XYYYX第第k个随机变量个随机变量Xk单独通过单符号离散信道时的平均互信息单独通
16、过单符号离散信道时的平均互信息N个输入、输出变量的平均互信息之和为个输入、输出变量的平均互信息之和为上两式相减得上两式相减得NkNkNkkkkNkkkkkkNkXYHYHXYHYHYXI1111,2,1,)/()()/()();(NkkkNkkNNkkNkkNNkkkYXIIYHHYYYHYHHYHYYYHYXII112111211);();()()()()()()()();();(YXYYYX所以有应用熵的性质容易证明4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道NkXYHYHYXIkkkkk,2,1),/()();(当且仅当信源当且仅当信源X X =X1X2XN无
17、记忆，或者说信源无记忆，或者说信源X X是离散无记忆信源是离散无记忆信源X的的N次扩展信源次扩展信源XN=X1X2XN时，即时，即即输出端各即输出端各Yk(k=1,2,N)相互独立。相互独立。4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道NkkkYXI1);()()()()/()()/()()/()()/()/()()()()/()()()(,2,1,)()()()()(2122221111111211111212121111111121NNNNNNNNNNNNNNNNjjjijniiijniiijniiijijniniiiininiiijjiijjjjNiiiiii
18、iypypypxypxpxypxpxypxpxypxypxpxpxpxxyypxxpyyypbpniiixpxpxpxxxpap 才有 结论1：离散无记忆信道的N次扩展信道的平 均互信息，不大于N个随机变量X1X2XN单 独通过信道X P(Y/X)Y的平均互信息之和。这时有 结论2：离散无记忆信道的N次扩展信道，当输入端的N个输入随机变量统计独立时，信道的总平均互信息等于这N个变量单独通过信道的平均互信息之和。4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道 NkkkNkkNkkkmjjNkkNmjmjjjjmjjmjmjjjjmjjjjjmjmjjjjYXIIYHHY
19、XIINkypYHYHYHYHypypypypypypypypyyypyyypHkkNNNNNNNNNN111112111211121112);();(0)()();();(,2,1,1)()()()()()()()(log)()()()(log)()(log)()(11112211121121YXYYXY所以其中l单符号离散无记忆信道与其单符号离散无记忆信道与其N次扩展信道信道容次扩展信道信道容量之间的关系量之间的关系由于离散无记忆信源的由于离散无记忆信源的N次扩展信源中的随机变量都取自同一符次扩展信源中的随机变量都取自同一符号集号集Xkx1x2xN(k=1,2,N)，并具有相同的概率分布，
20、而，并具有相同的概率分布，而且都通过同一个离散无记忆信道且都通过同一个离散无记忆信道X P(Y/X)Y，信道输出端随机变量序列中的随机变量信道输出端随机变量序列中的随机变量Yk(k=1,2,N)也取自同也取自同 一符号集并具有相同的概率分布，而且相互统计独立。一符号集并具有相同的概率分布，而且相互统计独立。所以所以 I(Xk;Yk)=I(X;Y)结论：结论：离散无记忆信道的离散无记忆信道的N次扩展信道，如果信源也是离散无次扩展信道，如果信源也是离散无记忆信源的记忆信源的N次扩展信源，则信道总的平均互信息是单符号离散次扩展信源，则信道总的平均互信息是单符号离散无记忆信道平均互信息的无记忆信道平均
21、互信息的N倍倍。4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道);();();(1YXNIYXIINkkkYX结论的说明：因为离散无记忆信道结论的说明：因为离散无记忆信道N次扩展信道可以次扩展信道可以用用N个单符号离散信道来等效，这个单符号离散信道来等效，这N个信道之间没有个信道之间没有任何关联关系，若输入端的任何关联关系，若输入端的N个随机变量之间也没有个随机变量之间也没有任何关联关系的话，就相当于任何关联关系的话，就相当于N个毫不相干的单符号个毫不相干的单符号离散信道在分别传送各自的信息，所以在扩展信道的离散信道在分别传送各自的信息，所以在扩展信道的输出端得到的平
22、均信息量必然是单个信道的输出端得到的平均信息量必然是单个信道的N倍。倍。用用C表示离散无记忆信道容量，用表示离散无记忆信道容量，用CN表示其扩展信道表示其扩展信道容量，容量，CN=NC4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道l独立并联信道独立并联信道独立并联信道独立并联信道/独立并列独立并列/独立平行独立平行/积信道积信道：输入和输出随：输入和输出随机序列中的各随机变量取值于不同的符号集，就构成机序列中的各随机变量取值于不同的符号集，就构成了独立并联信道。了独立并联信道。是离散无记忆信道的是离散无记忆信道的N次扩展信道的推广次扩展信道的推广。p输入随机序列输入随
23、机序列X X=X1X2XN，Xkx1k,x2k,xnkp输出随机序列输出随机序列Y Y=Y1Y2YN，Yky1k,y2k,ynkpN个独立并联信道的容量个独立并联信道的容量CNp第第k个单符号离散无记忆信道的信道容量个单符号离散无记忆信道的信道容量Ckp当输入端各随机变量统计独立，且每个输入随机变量当输入端各随机变量统计独立，且每个输入随机变量Xk(k=1,2,N)的概率分布达到各自信道容量的概率分布达到各自信道容量Ck(k=1,2,N)的的最佳分布时，最佳分布时，CN达到其最大值：达到其最大值：4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道NkkNNCCCCC121
24、NkkNCC1max独立并联信道推广到更一般情况：独立并联信道推广到更一般情况：p输入各随机变量不但取值于不同的符号集，而且各集合的元素输入各随机变量不但取值于不同的符号集，而且各集合的元素个数也不相同；个数也不相同；p输出随机变量也取值于不同的符号集合，各集合的元素个数也输出随机变量也取值于不同的符号集合，各集合的元素个数也不相同；不相同；p这种更一般的信道可得到与上述类似的结论。这种更一般的信道可得到与上述类似的结论。可以把可以把N个变量的独立并联信道看成是离散无记忆个变量的独立并联信道看成是离散无记忆信道的信道的N次扩展信道的推广，也可以把离散信道的次扩展信道的推广，也可以把离散信道的N
25、次次扩展看成是独立并联信道的特例扩展看成是独立并联信道的特例。4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道l单路通信系统单路通信系统：不论是单符号的还是多符号的，都只有一个输入：不论是单符号的还是多符号的，都只有一个输入端和一个输出端的信道称为单用户信道，相应的通信系统称为单端和一个输出端的信道称为单用户信道，相应的通信系统称为单路通信系统。路通信系统。l多路通信系统多路通信系统：为了提高通信效率，通信网中的信道往往有多个：为了提高通信效率，通信网中的信道往往有多个输入端和多个输出端，这种信道称为多用户信道，相应的通信系输入端和多个输出端，这种信道称为多用户信道，相
26、应的通信系统称为多路通信系统。统称为多路通信系统。l网络信息论网络信息论/多用户信息论：研究多路通信系统信息传递的理论。多用户信息论：研究多路通信系统信息传递的理论。实际的信道大部分是多用户信道。例如：计算机通信、卫星通信、实际的信道大部分是多用户信道。例如：计算机通信、卫星通信、广播通信、有线电视等。广播通信、有线电视等。4.4.1 多址接入信道多址接入信道4.4.2 广播信道广播信道4.4.3 相关信源的多用户信道问题相关信源的多用户信道问题4.4 多用户信道l定义及信道模型定义及信道模型多址接入信道多址接入信道/多元接入信道：多个用户的信息用多个编码器分多元接入信道：多个用户的信息用多个
27、编码器分别编码以后，送入同一信道传输，在接收端用一个译码器译码，别编码以后，送入同一信道传输，在接收端用一个译码器译码，然后分送给不同的用户。这是有多个输入端但只有一个输出端然后分送给不同的用户。这是有多个输入端但只有一个输出端的多用户信道。的多用户信道。多址接入信道模型如下图所示多址接入信道模型如下图所示4.4.1 多址接入信道4.4 多用户信道l二址接入信道的信道容量二址接入信道的信道容量最简单的多址接入信道是只有两个输入端和一个输出端的二址最简单的多址接入信道是只有两个输入端和一个输出端的二址接入信道，如下图所示。接入信道，如下图所示。U1至至U1的信息率的信息率R1，信道容量，信道容量
28、C1U2至至U2的信息率的信息率R2，信道容量，信道容量C2总信道容量总信道容量C124.4.1 多址接入信道4.4 多用户信道二址接入信道信息率和信道容二址接入信道信息率和信道容量之间满足如下条件量之间满足如下条件这些条件确定了二址接入信道这些条件确定了二址接入信道以以R1和和R2为坐标的二维空间中为坐标的二维空间中的某个区域（图中阴影部分），的某个区域（图中阴影部分），这个区域的界线就是二址接入这个区域的界线就是二址接入信道的容量。信道的容量。12212211CRRCRCR4.4.1 多址接入信道4.4 多用户信道当当X1和和X2相互独立时有相互独立时有 max(C1,C2)C12C1+C
29、2l多址接入信道的信道容量多址接入信道的信道容量二址接入信道的结论很容易推广到多址接入信道；二址接入信道的结论很容易推广到多址接入信道；多址接入信道参数多址接入信道参数p多址接入信道数多址接入信道数Np第第r个编码器的信息率为个编码器的信息率为Rrp相应的信道容量为相应的信道容量为Cr；p信道总容量为信道总容量为C4.4.1 多址接入信道4.4 多用户信道);(max)/;(max1)()(1111)()(11YXXICRXXXXYXICRNXPXPNrrNrrrXPXPrrNN当输入各信源独立时有当输入各信源独立时有4.4.1 多址接入信道4.4 多用户信道rrNrrCCCmax1 这些限制
30、条件规定了一个在N维空间的体积，这个体积的外型是一个截去角的多面体，多面体内是信道允许的信息率，多面体的上界就是多址接入信道的容量。l定义：定义：具有一个输入和多个输出的信道称为广播信道。具有一个输入和多个输出的信道称为广播信道。l最简单的广播信道是单输入双输出广播信道，如下图所示：最简单的广播信道是单输入双输出广播信道，如下图所示：l对于一般的广播信道，很难用系统的方法求出其信息率可达区域，对于一般的广播信道，很难用系统的方法求出其信息率可达区域，只在某些特殊的情况下，能够证明信道容量的容量界线是可以达只在某些特殊的情况下，能够证明信道容量的容量界线是可以达到的。到的。4.4.2 广播信道4
31、.4 多用户信道l定义：定义：由多个单用户信道组成的并联信道，传送相互有关的多路由多个单用户信道组成的并联信道，传送相互有关的多路信息的信道。这种信道有多个输入和多个输出，且输入端各信源之信息的信道。这种信道有多个输入和多个输出，且输入端各信源之间有关联关系。间有关联关系。l两个相关信源用两个独立信道传送的多用户信道模型。两个相关信源用两个独立信道传送的多用户信道模型。l随着网络技术的发展，多用户信息论在近代信息论中越来越为大家随着网络技术的发展，多用户信息论在近代信息论中越来越为大家关注，不过许多问题还没有找到系统的解决方法。关注，不过许多问题还没有找到系统的解决方法。4.4.3 相关信源的
32、多用户信道问题4.4 多用户信道l定义：当信源与信道连接时，若信息传输率达到了信道定义：当信源与信道连接时，若信息传输率达到了信道容量，我们称此容量，我们称此信源与信道达到匹配信源与信道达到匹配。否则，认为信道。否则，认为信道有剩余。有剩余。l信道冗余度定义：信道冗余度定义：信道冗余度信道冗余度C-I(X;Y)C表示该信道的信道容量，表示该信道的信道容量，I(X;Y)表示信源通过该信道表示信源通过该信道实际传输的平均信息量。实际传输的平均信息量。信道相对冗余度信道相对冗余度一般通信系统中，信源发出的消息（符号）必须转换成适合信道传一般通信系统中，信源发出的消息（符号）必须转换成适合信道传输的符
33、号（信号）来传输。对于离散无损信道，如何进行转换，才输的符号（信号）来传输。对于离散无损信道，如何进行转换，才能使信道的信息传输率达到信道容量，达到信源与信道的匹配呢？能使信道的信息传输率达到信道容量，达到信源与信道的匹配呢？香农无失真信源编码定理。香农无失真信源编码定理。4.4.4 信源与信道的匹配4.4 多用户信道(;)(;)1CI X YI X YCC 4.5.1 连续信道的定义及数学模型连续信道的定义及数学模型4.5.2 连续信道的信道容量连续信道的信道容量4.5.3 加性连续信道的信道容量加性连续信道的信道容量4.5.4 高斯加性连续信道的信道容量高斯加性连续信道的信道容量4.5.5
34、 平均功率受限的加性信道的信道容量平均功率受限的加性信道的信道容量4.5.6 结论结论4.5 连续信道l连续信道定义连续信道定义：输入和输出随机变量都取值于连续集合：输入和输出随机变量都取值于连续集合的信道。的信道。l信道传递特性信道传递特性：传递特性用条件转移概率密度函数：传递特性用条件转移概率密度函数p(y/x)表示。表示。l连续信道数学模型连续信道数学模型：X p(y/x)Y，如下图所示。，如下图所示。4.5.1 连续信道的定义及数学模型4.5 连续信道l连续随机变量之间的平均互信息满足非负性连续随机变量之间的平均互信息满足非负性，并可以证，并可以证明，它是信源概率密度函数明，它是信源概
35、率密度函数p(x)的上凸函数。的上凸函数。l连续信道的信道容量连续信道的信道容量C：信源：信源X等于某一概率密度函数等于某一概率密度函数p0(x)时，信道平均互信息的最大值，即时，信道平均互信息的最大值，即l一般连续信道的容量并不容易计算，当信道为加性信道一般连续信道的容量并不容易计算，当信道为加性信道时，情况要简单一些。时，情况要简单一些。4.5.2 连续信道的信道容量4.5 连续信道);(max)(YXICxpl加性连续信道加性连续信道：噪声为连续随机变量：噪声为连续随机变量N，且与，且与X相互统计相互统计独立的信道。独立的信道。l这种信道的噪声对输入的干扰作用表现为噪声和输入线这种信道的
36、噪声对输入的干扰作用表现为噪声和输入线性叠加，即性叠加，即Y=X+N。如下图所示。如下图所示。4.5.3 加性连续信道的信道容量4.5 连续信道l对于加性连续信道，信道的条件概率密度函数等于噪声对于加性连续信道，信道的条件概率密度函数等于噪声的概率密度的概率密度 p(y/x)=p(n)这进一步说明信道的传递概率是由于噪声熵所引起的。这进一步说明信道的传递概率是由于噪声熵所引起的。4.5.3 加性连续信道的信道容量4.5 连续信道 )()/()()()/()()()()()(11011,)()()(npxypnpxpxypxpxypnpxpxnpJxynxxxnpJxnpxypynyxxnxxx
37、yxnxyxn所以坐标变换为论证明：根据坐标变换理l加性连续信道的条件熵等于其噪声熵。说明加性连续信道的条件熵等于其噪声熵。说明Hc(Y/X)是由是由噪声引起的，故称噪声引起的，故称Hc(N)为噪声熵。为噪声熵。该结论说明了条件熵是由于信道中噪声引起的，它完全等于噪声信该结论说明了条件熵是由于信道中噪声引起的，它完全等于噪声信源的不确定性，即噪声信源的熵，所以称它为噪声熵。源的不确定性，即噪声信源的熵，所以称它为噪声熵。4.5.3 加性连续信道的信道容量4.5 连续信道1)()()(log)()()(log)()(log)()()/(log)/()()/(2222XcNXNXNXYcdxxpN
38、HdnnpnpdxxpdnnpnpdxdnnpnpxpdxdyxypxypxpXYH其中l加性连续信道的信道容量：加性连续信道的信道容量：l加性噪声加性噪声N和信源和信源X相互统计独立，相互统计独立，X的概率密度函数的概率密度函数p(x)的变动不会引起噪声熵的变动不会引起噪声熵Hc(N)的改变，所以加性信道的容的改变，所以加性信道的容量量C就是选择就是选择p(x)，使输出熵，使输出熵Hc(Y)达到最大值，即达到最大值，即l上式说明：上式说明：加性连续信道容量取决于噪声加性连续信道容量取决于噪声N（即信道）（即信道）的统计特性和输入随机变量的统计特性和输入随机变量X所受的限制条件所受的限制条件。
39、（对于不（对于不同的限制条件，连续随机变量具有不同都最大熵值。）同的限制条件，连续随机变量具有不同都最大熵值。）4.5 连续信道)()(max)/()(max);(max)()()(NHYHXYHYHYXICccxpccxpxp)()(max)(NHYHCccxp4.5.3 加性连续信道的信道容量l高斯加性连续信道：高斯加性连续信道：高斯噪声为高斯噪声为N，均值为，均值为0，方差为，方差为2，噪声功率为，噪声功率为PN；l信道的传递概率密度函数：信道的传递概率密度函数：p(y/x)=p(n)l如果把如果把x看成是一个常数，则上式就变成了随看成是一个常数，则上式就变成了随y变化的高变化的高斯函数
40、，即当已知斯函数，即当已知X=x时，时，Y也是一个高斯变量，均值为也是一个高斯变量，均值为x，方差为，方差为2。4.5.4 高斯加性连续信道的信道容量4.5 连续信道)()/(2222222)(22121npeexypnxyl因此高斯加性信道的容量为因此高斯加性信道的容量为4.5 连续信道222221221222122log22222122122)(1)(2loglog2log)(2log)(log)(log)(log)()(log)()()/(222222222NNNeNnNNNNccdnnpndnnpeednnpndnnpednnpdnnpdnenpdnnpnpNHXYHn其中2221)(
41、)(2log)(max)()(maxeYHNHYHCcxpccxp4.5.4 高斯加性连续信道的信道容量l输入概率密度函数输入概率密度函数p(x)是什么样的函数时，才能使是什么样的函数时，才能使Y呈高呈高斯分布？斯分布？l设限定输入平均功率设限定输入平均功率PX，噪声平均功率，噪声平均功率PN=2，l则输出随机变量则输出随机变量Y的平均功率的平均功率PY也是受限的。也是受限的。l根据最大连续熵定理，要使根据最大连续熵定理，要使Hc(Y)达到最大，达到最大，Y必须是一必须是一个个均值为均值为0、方差为、方差为2Y=PY的高斯随机变量。的高斯随机变量。l高斯加性信道中输入高斯加性信道中输入X和噪声
42、和噪声N相互统计独立，且相互统计独立，且Y=X+N。由概率论可知：若输入由概率论可知：若输入X是均值为是均值为0、方差为、方差为2X=PX的高的高斯随机变量，即斯随机变量，即X的概率密度函数为的概率密度函数为p(x)，则可以证明，则可以证明，输出输出Y的概率密度函数就等于的概率密度函数就等于4.5.5 平均功率受限的加性信道的信道容量4.5 连续信道l即当输入随机变量即当输入随机变量X的概率密度是均值为的概率密度是均值为0、方差、方差2X的的高斯随机变量；高斯随机变量；l加性信道的噪声加性信道的噪声N是均值为是均值为0、方差为、方差为2的高斯随机变量的高斯随机变量时；时；l输出随机变量输出随机
43、变量Y也是一个高斯随机变量，其均值为也是一个高斯随机变量，其均值为0、方、方差为差为2Y=2X+2=PY。4.5.5 平均功率受限的加性信道的信道容量4.5 连续信道YXYPeypexpYyYXxX222212122222222)()(其中l这时输出端的连续熵这时输出端的连续熵Hc(Y)达到最大值，即达到最大值，即l(PX/PN)称为信道的称为信道的信噪功率比信噪功率比。4.5.5 平均功率受限的加性信道的信道容量4.5 连续信道)1(log21)1(log21)(log212log)(2log2log)(2log)(max2222222222212222122122221)(NXXXXYXc
44、xpPPeeCePeYH信道容量为因此，高斯加性信道的l设信道的频带限于设信道的频带限于(0,W)；l根据采样定理，如果每秒传送根据采样定理，如果每秒传送2W个采样点，在接收端可无个采样点，在接收端可无失真地恢复出原始信号；失真地恢复出原始信号；l香农公式香农公式：把信道的一次传输看成是一次采样，由于信道：把信道的一次传输看成是一次采样，由于信道每秒传输每秒传输2W个样点，所以单位时间的信道容量为个样点，所以单位时间的信道容量为 (Ct：最大的信息传输速率：最大的信息传输速率/单位时间内单位时间内)/)(1(log2秒比特NXtPPWC4.5.6 结 论4.5 连续信道l香农公式推出的条件：香
45、农公式推出的条件：连续消息是平均功率受限的高斯随机过程，平均功率为连续消息是平均功率受限的高斯随机过程，平均功率为PX。被取样后的样值同样呈高斯分布，样值之间彼此独。被取样后的样值同样呈高斯分布，样值之间彼此独立；立；噪声为加性噪声为加性WGN，平均功率为，平均功率为PN；信号的有效带宽为信号的有效带宽为W。4.5.6 结 论4.5 连续信道l香农公式说明：香农公式说明：当信道容量一定时，增大信道带宽，可以降低对信噪功当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿信噪功率比来补偿。
46、当信道频带无限时，其信道容量与信号功率成正比当信道频带无限时，其信道容量与信号功率成正比。4.5.6 结 论4.5 连续信道112200002200000limlimlog(1)limlog(1),limlimlog(1)limlog(1)0,ln(1)1lim1.4427(/)ln2zzXXtWWWNNXXXXtWWWXXXtWPPCWWPN WPPNzWN WN WPPPCzNPN WNxzPPCNN式中是加性高斯噪声的单边谱密度,令因为当时，所以比特 秒l香农公式的意义：香农公式的意义：信道容量与所传输信号的有效带宽成正比，信号的有效信道容量与所传输信号的有效带宽成正比，信号的有效带宽越
47、宽，信道容量越大带宽越宽，信道容量越大；信道容量与信道上的信号噪声比有关，信噪比越大，信信道容量与信道上的信号噪声比有关，信噪比越大，信道容量也越大，但其制约规律呈对数关系道容量也越大，但其制约规律呈对数关系；信道容量信道容量C,有限带宽有限带宽W和信噪比可以相互起补偿作用，和信噪比可以相互起补偿作用，即可以互换。应用极为广泛的扩展频谱通信，多相位调即可以互换。应用极为广泛的扩展频谱通信，多相位调制等都是以此为理论基础。制等都是以此为理论基础。当信道上的信噪比小于当信道上的信噪比小于1时（低于时（低于0db），信道的信道容），信道的信道容量并不等于量并不等于0，这说明此时信道仍具有传输消息的能
48、力。，这说明此时信道仍具有传输消息的能力。也就是说信噪比小于也就是说信噪比小于1时仍能进行可靠的通信，这对于时仍能进行可靠的通信，这对于卫星通信卫星通信、深空通信等具有特别重要的意义。、深空通信等具有特别重要的意义。4.5.6 结 论4.5 连续信道l香农公式的意义：香农公式的意义：是否可以用无限制地加大信号有效带宽的方法来减小发射功率，或是否可以用无限制地加大信号有效带宽的方法来减小发射功率，或在任意低的信噪比情况下仍能实现可靠的通信呢？尽管从香农公式在任意低的信噪比情况下仍能实现可靠的通信呢？尽管从香农公式不能直接看出，但它隐含着否定的回答不能直接看出，但它隐含着否定的回答；这说明此时的信
49、道容量这说明此时的信道容量C趋于有限值，取决于发射功率和信道白色高趋于有限值，取决于发射功率和信道白色高斯噪声的功率谱密度之比。尽管此时的斯噪声的功率谱密度之比。尽管此时的C仍大于仍大于0，尚可进行通信，但，尚可进行通信，但由于信道容量与发射功率成正比，已与加大信号有效带宽的初衷相悖，由于信道容量与发射功率成正比，已与加大信号有效带宽的初衷相悖，因此用无限的带宽换取信道容量是否合算，值得推敲，况且物理上不因此用无限的带宽换取信道容量是否合算，值得推敲，况且物理上不可能提供无限带宽进行通信。可能提供无限带宽进行通信。该结论实际上指出了信号有效带宽与发该结论实际上指出了信号有效带宽与发射功率互换的
50、有效性问题。信道容量是通信系统的最大信息传输速率，射功率互换的有效性问题。信道容量是通信系统的最大信息传输速率，通常是系统的设计指标，因此通常是系统的设计指标，因此C往往是给定的。这时可以根据信道特往往是给定的。这时可以根据信道特性来权衡发射功率和信号有效带宽的互换，使系统的设计趋于最佳。性来权衡发射功率和信号有效带宽的互换，使系统的设计趋于最佳。4.5.6 结 论4.5 连续信道00200limlog1.44NNXXWPNPN WWWPPCeNN 设是加性高斯噪声的单边谱密度,则当时，l香农公式的意义：香农公式的意义：香农公式是在噪声为加性香农公式是在噪声为加性WGN情况下推得的，由于白情况
