1、4.4 4.4 连续信源、信道及容量连续信源、信道及容量 一一.连续信源的相对熵连续信源的相对熵 若已知随机信号 幅度取值的概率密度函数：取值在任意小区间 内的概率 连续信源转变为具有n个随机变量的信源，且有 利用离散随机变量熵的定义，得 tX xp iaiaxxxXXiii,)1(,nixpdxxpxPiaiaiiXX,.,2,11 11111nibaiaianiiniidxxpdxxpxpxPXX niiiiniinxpxpxPxPXH11loglog1.1.连续信源的相对熵连续信源的相对熵 概率密度函数的离散化示意图，输入的取值范围 XXba,ninabxXXi,.,2,1 nidxxp
2、iaXiaPxxXxPxPiaiaXXiiiiXX,.,2,1112.2.连续信源的熵连续信源的熵应为 可见连续信源的熵无限大连续信源的熵无限大。该熵称为连续信源的绝对熵连续信源的绝对熵，无无 法确切地定义法确切地定义。通常上式的第一项是有限值，且其具有特定的物理意义。dxxpxpdxxpxpxpxpxpxpxpxpxpXHXHbanbanniiinniinniiinniiinnnlogloglimlogloglimloglimloglimloglimloglimlim,0,01,01,01,01,0,0定义定义4.4.1 4.4.1 连续信源的相对熵为连续信源的相对熵为示例示例:某信号的相对
3、熵为 信号经2倍幅度放大后的相对熵为 信号的简单放大并没有增加任何新的信息，但其相对熵发生了增大的变化，这说明相对熵已经不再具有信源平均信息量相对熵已经不再具有信源平均信息量的内涵的内涵。dxxpxpXhbalog 121log21log111dxdxxpxpXhba 241log41log222dxdxxpxpXhba3.3.连续信源的相对条件熵连续信源的相对条件熵 对于连续随机变量，同样可以导出其条件熵条件熵 可见连续信源的条件熵取值无限大，同样无法确切定义可见连续信源的条件熵取值无限大，同样无法确切定义。但通常上式的第一项是一个有限取值的量。连续信源的熵和条件熵均取值无限大，说明要在一个
4、容量有要在一个容量有 限的通信系统中传递连续信源的全部信息是不可能的。限的通信系统中传递连续信源的全部信息是不可能的。loglim/log/loglim/loglog/loglim/lim/00,0110,00,0XXYYXXYYbabababajinimjjimndxdyyxpyxpypdxdyyxpxypyxpyxpYXHYXH 定义定义4.4.3 4.4.3 连续信源的相对条件熵连续信源的相对条件熵 因为：说明相对熵相对熵和相对条件熵相对条件熵的差值与普通的熵和条件熵的差值 一样，仍然等于平均互信息量。平均互信息量。同理可以导出：同理可以导出：XXYYbabadxdyyxpyxpypYX
5、h/log/YXhXhYXhXhYXHXHYXI/loglim/loglim/;00 XYhYhYXI/;XYhYhXhYXI;4.4.连续信源相对熵的最大化连续信源相对熵的最大化 定理定理4.4.3 4.4.3 连续信源的相对熵函数连续信源的相对熵函数 是信源概率密度函是信源概率密度函 数数 的的 型凸函数。型凸函数。相对熵相对熵 作为概率密度函数作为概率密度函数 的函数存在最大值。的函数存在最大值。h X p x p xh X(1)(1)可以证明：当连续信源的概率密度函数服从当连续信源的概率密度函数服从时，该时，该连续信源有最大的相对熵。连续信源有最大的相对熵。在区间 分布连续信源 的概率
6、密度函数为 其相对熵为 若 ba,X bxaabxp,1 abXhXhplogmaxAx AxAAxp,21 AXhXhp2logmax(2)(2)可以证明：当连续信源的概率密度函数服从当连续信源的概率密度函数服从时，该时，该连续信源有最大的相对熵。连续信源有最大的相对熵。指数分布 相对熵 dxxxp 0,00,1xxeaxpaxmax2ln1lnlogphXhXaeaa 或(3)(3)可以证明：当连续信源的概率密度函数服从当连续信源的概率密度函数服从时，该时，该连续信源有最大的相对熵。连续信源有最大的相对熵。高斯分布 相对熵 dxxpx2 22221mxexp2max21()()ln(2)l
7、n(2)log(2)2phXhXeee 或二二.加性高斯噪声信道的容量加性高斯噪声信道的容量 加性高斯噪声(干扰)信道(AWGN)信道输入：；信道输出：；加性高斯噪声：已知通过信道后，从 可获得的关于 的平均互信息量 若已知信号 的带宽为 。对任意的这类信号 则无失真的抽样频率至少应为：(单位时间的样点数)单位时间内传输的信息量，即信息速率为nxynxyyx XYhYhYXhXhYXI/;xWWfS2 WXYhYhWYXhXhWYXIfYXIRSb2/2/2;Rs 1.1.加性加性高斯噪声高斯噪声(干扰干扰)信道信道(AWGN)(AWGN)的的 信号与噪声间的关系可用方程组表示为 或 二维函数
8、概率密度间的关系 为 WYXICxp2;maxxnxxnxnxy,xyyxnxyxx,xyxnJxnpxyp J 因为 所以有 若已知信源x的统计特性，收到y后不可确定的部分为 噪声造成影响的部分。11101,yyxnxyxnyyxxxyxxxyxnJ npxpxnpxyp npxpnpxpxpxnpxpxypxyp/因此可得 /log/logloglogh YXp xyp y x dxdyxnp xn Jp n dxdnp xnp n dxdnxyp np n dnh N WNhYhWXYhYhWYXICxpxpxp2max2/max2;max与信源统计特性无关 因为 (1)在均方受限的条件
9、下，高斯分布的信源有最大的相对熵 (2)两高斯分布的随机变量之和()仍为高斯随机变量 (3)信号 与噪声 统计独立 因而有nxy 2222222222121nxyynxyyeeyp 2222log212log21lognxyeedyypypYh2.2.信道容量信道容量 若记 得香农公式香农公式 222222222221logloglog22log22log212log212maxnxnnxnynynyxpWWWeeWWeeWNhYhC22,nxNSSNRWNSWC1log1log22由香农公式香农公式(香农定理)得到的重要结论重要结论：(1)(1)信道容量信道容量C C随随S/NS/N增大而增
10、大；增大而增大；(2)C(2)C一定时，一定时，W W与与S/NS/N之间可以彼此互换；之间可以彼此互换；(3)N(3)N 0,C 0,C ：无扰信道的容量为无穷大；：无扰信道的容量为无穷大；(4)(4)对受高斯噪声干扰的信道，当对受高斯噪声干扰的信道，当 W W ，信道容量趋于信道容量趋于 一有限的确定值：一有限的确定值：(S S与与N N0 0固定时固定时)SNRWNSWC1log1log2202044.1loglimNSeNSCW3.信道容量和带宽的归一化分析 归一化信道容量归一化信道容量：单位时间单位频带内可达到的信息速率单位时间单位频带内可达到的信息速率。注：所谓物理不可 实现是指不可 能实现无差错 传输。2log1CSWN图 441 归一化信道容量特性曲线 归一化信道带宽：单位信息速率所需要的最小带宽。归一化信道带宽：单位信息速率所需要的最小带宽。图 442 归一化信道带宽特性曲线12log1WSCN图 443 关于Eb/n0的带宽特性曲线 关于关于E Eb b/N/N0 0的归一化信道带宽的归一化信道带宽 Eb：比特能量；N0：噪声功率密度谱；当 Eb/N0 1.59dB 时，无法实现无差 错的传输。CW021bEWnC
