信息论第3章-信道及信道容量概要课件.ppt

1、信道及信道容量2022-10-27第3章 信道及信道容量教学内容和要求掌握单符号离散信道及平均互信息量，理解其性质掌握m=n信道、对称信道和准对称信道的信道容量了解多符号离散信道，掌握N次扩展信道及信道容量信道及信道容量2022-10-27掌握单符号连续信道及平均互信息量，理解其性质掌握高斯加性信道的信道容量和最大信息传输速率了解多符号连续信道及信道容量信道及信道容量2022-10-27编码信道译码噪声信源信宿信道传输信号的媒介，信道中通常引入噪声狭义信道信号的传输媒介有线信道电线、电缆、光缆无线信道电磁空间地波传播、天波传播、视线传播信道及信道容量2022-10-27发转换媒介收转换调制解调

2、 调制信道调制信道编码信道编码信道 广义信道包括调制解调、收发转换装置的信道调制信道连续信道编码信道离散信道信道及信道容量2022-10-27一、单符号离散信道及信道容量1、单符号离散信道定义对应于单符号离散信源和单符号离散信宿的信道表示信源离散型随机变量X信宿离散型随机变量Y信道及信道容量2022-10-27)x(P,),x(P),x(P)X(Px,x,xXn21n21设随机变量X的取值xi为信源发出的消息 i=1,2,n)y(P,),y(P),y(P)Y(Pnmy,y,yYm21m21，通常设随机变量Y的取值yj为信宿收到的消息 j=1,2,mXP(Y/X)Y信道及信道容量2022-10-

3、27x1x2xny1y2ymP(y1/x1)P(ym/xn)P(y2/x2)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)X/Y(Pnmn2n12m22211m1211信道及信道容量2022-10-27n,2,1i1)x/y(P1)x/y(P0m1jijij且其中，信道及信道容量2022-10-27p1ppp1)X/Y(P例12121122111)X/Y(P例2信道及信道容量2022-10-272、互信息量信源发出消息xi而信宿接收到消息yj，信宿消息yj所含信源消息xi的信息量定义信宿消息yj的概率P(yj)与信源发出消息xi而信

4、宿接收到消息yj的转移概率P(yj/xi)之差对数的负值，用I(xi;yj)表示信道及信道容量2022-10-27表示)x/y(Plog)y(Plog)x/y(P)y(Plog)y;x(Iijjijjji信道及信道容量2022-10-27例375.025.001)X/Y(PZ信道6.04.010)X(PX信源信宿消息0所含各信源消息的互信息量55.025.06.014.0)0y(P1)bit(862.01log55.0log)x/y(Plog)y(Plog)0y;0 x(I11111)bit(138.125.0log55.0log)x/y(Plog)y(Plog)0y;1x(I21112信道及

5、信道容量2022-10-273、平均互信息量各互信息量的数学期望，也叫交互熵，用I(X;Y)表示定义表示n1im1jijjin1im1jjjin1im1jjijiji)x/y(Plog)yx(P)y(Plog)yx(P)y;x(I)yx(P)y;x(I E)Y;X(I信道及信道容量2022-10-274、平均互信息量的意义条件熵H(Y/X)是信道给出的平均信息量噪声熵或信道散布度)X/Y(H)Y(H)Y;X(I)X/Y(H)Y(H)x/y(Plog)yx(P)y(Plog)y(Pn1im1jijjin1jjj平均互信息量I(X;Y)反映信道每传输一条消息所携带的平均信息量，不反映信宿收到某条消

6、息所含信源发出某条特定消息的信息量信道及信道容量2022-10-27n1im1jjiijin1im1jijjji)y/x(P)x(Plog)yx(P)x/y(P)y(Plog)yx(P)Y;X(I)Y/X(H)X(H)y/x(Plog)yx(P)x(Plog)yx(Pn1im1jjijin1im1jiji条件熵H(X/Y)是用反信道矩阵形式表示的信道给出的平均信息量损失熵或信道疑义度信道及信道容量2022-10-27H(X/Y)H(X)H(Y/X)H(Y)I(X;Y)以信宿为参考，利用信宿的信息熵和信道的噪声熵来度量信道中传输的平均信息量以信源为参考，利用信源的信息熵和信道的损失熵来度量信道中

7、传输的平均信息量平均互信息量I(X;Y)信息传输率R信道及信道容量2022-10-27n1im1jjijijin1im1jijjji)yx(P)y(P)x(Plog)yx(P)x/y(P)y(Plog)yx(P)Y;X(I)XY(H)Y(H)X(H)yx(Plog)yx(P)y(Plog)yx(P)x(Plog)yx(Pn1im1jjijin1im1jjjin1im1jiji信道及信道容量2022-10-275、平均互信息量的主要性质对称性)X;Y(I)Y;X(I)X;Y(I)y/x(P)x(Plog)yx(P)x/y(P)y(Plog)yx(P)Y;X(In1im1jjiijin1im1ji

8、jjji信道及信道容量2022-10-27非负性0)Y;X(I)Y(H)X/Y(H0)X/Y(H)Y(H)Y;X(I极值性)Y(H)Y;X(I)X(H)Y;X(I0)Y/X(H,0)X/Y(H信道及信道容量2022-10-27)Y(H)X/Y(H)Y(H)Y;X(I)X(H)Y/X(H)X(H)Y;X(IX与Y相互独立时，0)Y;X(IX与Y一一对应关系时，)X(H)Y(H)Y;X(I严格凸函数性信道固定时，I(X;Y)是信源概率分布P(X)的严格上凸函数信源固定时，I(X;Y)是信道转移概率分布P(Y/X)的严格下凸函数信道及信道容量2022-10-27例475.025.001)X/Y(PZ

9、信道6.04.010)X(PX信源平均互信息量55.025.06.014.0)0y(P145.075.06.004.0)1y(P2)bit(992.045.0log45.055.0log55.0)y(Plog)y(P)Y(H21jjj信道及信道容量2022-10-2721i21jijiji)x/y(Plog)x/y(P)x(P)X/Y(H)bit(487.075.0log75.06.025.0log25.06.00log04.01log14.0)bit(505.0487.0992.0)X/Y(H)Y(H)Y;X(I信道及信道容量2022-10-27平均互信息量及p-I(X;Y)和q-I(X;Y

10、)曲线p1p10)X(PX信源qq1q1q)X/Y(P信道qppq)q1)(p1(pq)0y(P1qpqpq)p1()q1(p)1y(P2例5)qppq(H)qpqplog()qpqp()qppqlog()qppq()Y(H信道及信道容量2022-10-2721i21jjiiji)y/x(Plog)x/y(P)x(P)X/Y(H)q(Hqlogqqlogqqlog)qpqp(qlog)qppq(qlogqpqlogqpqlogqpqlogpq)q(H)qppq(H)X/Y(H)Y(H)Y;X(I信道固定时q为常数，作p-I(X;Y)曲线0)q(H)q(H)Y;X(I0p 时，当)q(H1)q(

11、H)5.0(H)Y;X(I5.0p时，信道及信道容量2022-10-270)q(H)q(H)Y;X(I1p 时，00.51I(X;Y)1-H(q)p信源固定时p为常数，作q-I(X;Y)曲线)p(H)0(H)p(H)Y;X(I0q 时，当信道及信道容量2022-10-27)p(H)1(H)p(H)Y;X(I1q 时，0)5.0(H)5.0(H)Y;X(I5.0q时，00.51I(X;Y)H(p)q信道及信道容量2022-10-276、信道容量信道固定时，平均互信息量是信源概率分布P(X)的严格上凸函数，总能找到一种信源概率分布P(X)，使信道中传输的平均互信息量达到最大定义信道转移概率分布P(

12、Y/X)不变时平均互信息量的最大值，用C表示信道及信道容量2022-10-27表示)Y;X(ImaxC)X(P7、m=n信道的信道容量限制下的条件极值在1)x(P)Y;X(In1iin,2,1i01)x(P)Y;X(I)x(Pn1jji令信道及信道容量2022-10-27n,2,1i01)x(P)x/y(Plog)x/y(P)x(P)y(Plog)y(P)x(Pn1jjn1jm1kjkjkjm1kkkin,2,1i)x/y(P)x/y(P)x(P)x(P)x(P)y(Pikn1jjkjiik注意到信道及信道容量2022-10-27n,2,1ielog)y(Plog)x/y(P)x/y(ePlo

13、g)y(Plog)x/y(P)y(Plog)y(P)x(Pm1kkikm1kikkikm1kkki信道及信道容量2022-10-27n,2,1i)x/y(Plog)x/y(P1)x(P)x/y(Plog)x/y(P)x(P)x(Pm1kikikn1jjn1jm1kjkjkjin,2,1i0)x/y(Plog)x/y(Pelog)y(Plog)x/y(Pm1kikikm1kkik信道及信道容量2022-10-27n,2,1ielog)x/y(P)y(Plog)x/y(Pm1kikkikelogelog)x(PC)x/y(P)y(Plog)x/y(P)x(Pn1iim1kikkikn1iin,2,

14、1iC)x/y(P)y(Plog)x/y(Pm1kikkik信道及信道容量2022-10-27n,2,1i)x/y(PC)y(P)logx/y(PC)y(Plog)x/y(P)x/y(Plog)x/y(Pm1kkikm1kkikm1kkikm1kikikm,1,2,knmk，可解出如果m,2,1kC)y(Plogkkm,2,1k2)y(PCkk信道及信道容量2022-10-271222)y(Pm1kCm1kCm1kkkkm1kCk22)2log(Cm1kkm,2,1k2)y(PCkkm,2,1k)x/y(P)x(P)y(Pn1iikikn,1,2,i)x(Pnmi，可解出信道及信道容量2022

15、-10-27m=n信道的信道容量m,2,1kn,2,1i)x/y(Plog)x/y(P)x/y(P)1(km1kikikm1kkik求出由)2log(C)2(m1kk求出m,2,1k2)y(P)3(Ckk求出n,2,1i)x(Pm,2,1k)x/y(P)x(P)y(P)4(in1iikik求出由信道及信道容量2022-10-27Z信道 的信道容量C及达到信道75.025.001)X/Y(P容量的信源概率分布P(X)例6082.10811.075.0log75.025.0log25.075.025.000log01log101)1(212121求出由信道及信道容量2022-10-27习题：(P9

16、9)3.1、3.2)bit(558.0)22log(C)2(082.10求出321.0222)y(P679.0222)y(P)3(640.1558.0082.1C2528.0558.00C121求出428.0)x(P572.0)x(P321.0)x(P75.0)x(P0)y(P679.0)x(P25.0)x(P1)y(P)4(21212211求出由信道及信道容量2022-10-27二、对称信道及信道容量1、对称信道矩阵中每一行都是集合中各元素的不同排列矩阵行可排列；每一列都是集合 中各元素的不同排列矩阵列可排列q,q,qQm21p,p,pPn21信道及信道容量2022-10-27对称信道中，当

17、mn时，P是Q的子集；当m=n时，P=Q例1下列信道矩阵所表示的信道是否为对称信道？既行可排列，又列可排列的信道矩阵所表示的单符号离散信道定义信道及信道容量2022-10-273131616161613131)X/Y(P61613131Q6131P行可排列列可排列QP,nm信道及信道容量2022-10-276131613161613131)X/Y(P行可排列不存在P，列不可排列61613131Q信道及信道容量2022-10-272、对称信道的信道容量m=n=2时的对称信道二进制对称信道BSC11)X/Y(P对称信道行可排列m1jjjn1im1jjjin1im1jijijim21qlogqqlo

18、gq)x(P)x/y(Plog)x/y(P)x(P)q,q,q(H)X/Y(H信道及信道容量2022-10-27)q,q,q(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X(ImaxCm21)X(P)X(P)X(P信宿等概时最大m1jjjm21qlogqmlog)q,q,q(HmlogC最大值可达条件对称信道列可排列，不失一般性，设对称信道的信道矩阵信道及信道容量2022-10-271nn1n3221pppppppp)X/Y(Pm1)x(Pp)x(Pp)x(Pp)x(Pp)y(Pm1)x(Pp)x(Pp)x(Pp)x(Pp)y(Pn11nn23122nn1n1n22111信道及信道容量20

19、22-10-27n1iin21pm1)x(P)x(P)x(P解出n,2,1in1)x(P1)x(nP)x(Piin1ii信道及信道容量2022-10-27n1)x(P)x(P)x(Pn21m1jjjm21qlogqmlog)q,q,q(HmlogC对称信道的信道容量BSC的信道容量)1log()1(log1)(H1C达到信道容量的信源概率分布信道及信道容量2022-10-27例2信道的信道容量及达到信道7.01.02.02.07.01.01.02.07.0)X/Y(P容量的信源概率分布信道矩阵既行可排列，又列可排列，所表示的信道为对称信道信道及信道容量2022-10-27信道容量)bit(42

20、9.01.0log1.02.0log2.07.0log7.03logqlogq3logC31jjj达到信道容量的信源概率分布31)x(P)x(P)x(P321信道及信道容量2022-10-27三、准对称信道及信道容量行可排列而列不可排列，按列分为若干个不相交的子集，各子集构成的子矩阵列可排列的信道矩阵所表示的单符号离散信道信道矩阵7.02.01.01.02.07.0)X/Y(P定义1、准对称信道信道及信道容量2022-10-277.02.01.0Q行可排列不存在P，列不可排列按列分成两个不相交的子集，两个子集构成的子矩阵7.01.01.07.0)X/Y(P12.02.0)X/Y(P2列可排列，

21、信道为准对称信道1.07.0P12.02.0P2信道及信道容量2022-10-27二进制删除信道准对称信道2112212111)X/Y(P准对称信道行可排列2、准对称信道的信道容量m1jjjn1im1jjjin1im1jijijim21qlogqqlogq)x(P)x/y(Plog)x/y(P)x(P)q,q,q(H)X/Y(H信道及信道容量2022-10-27)q,q,q(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X(ImaxCm21)X(P)X(P)X(P信宿等概的最大值是否可达？7.02.01.01.02.07.0)X/Y(P如果信宿等概信道及信道容量2022-10-2731)x(

22、P7.0)x(P1.0)y(P31)x(P2.0)x(P2.0)y(P31)x(P1.0)x(P7.0)y(P2132122110)x(P6.0)x(P6.00)x(P1.0)x(P5.02121矛盾！不可达信道及信道容量2022-10-27按列分为s个不相交的子集，各子集构成的子矩阵列可排列对应于子信道的各子信宿等概时最大最大值可达条件子矩阵列可排列，不失一般性，设第k个子矩阵 s1kkkks1kM)y(Pkk)X(P)y(Plog)y(Pm)y(Plog)y(P)Y(Hmaxkj信道及信道容量2022-10-271kknkn1kn3k2k2k1kkpppppppp)X/Y(P)y(P)x(

23、Pp)x(Pp)x(Pp)x(Pp)y(P)x(Pp)x(Pp)x(Pp)x(Ppkn1k1nkn23k12kknkn1n1kn22k11kn1ikikn21p)y(P)x(P)x(P)x(P解出信道及信道容量2022-10-27n,2,1in1)x(P1)x(nP)x(Piin1iis,2,1kpn1)y(Pn1ikik信道及信道容量2022-10-27准对称信道的信道容量)q,q,q(H)y(Plog)y(PmCm21ks1kkkm1jjjks1kkkqlogq)y(Plog)y(Pmn1)x(P)x(P)x(Pn21达到信道容量的信源概率分布信道及信道容量2022-10-27二进制擦除信

24、道的信道容量22212111log)1log()1(21log)1(C信道及信道容量2022-10-277.02.01.01.02.07.0)X/Y(P信道的信道容量及达到信道容量时的信源概率分布例1行可排列1.02.07.0Q不存在P，列不可排列按列分成两个不相交的子集后，两个子集构成的子矩阵信道及信道容量2022-10-277.01.01.07.0)X/Y(P12.02.0)X/Y(P2都列可排列，所表示的信道为准对称信道1.07.0P12.02.0P24.0)1.07.0(21p21)y(P2m21ii 111，2.0)2.02.0(21p21)y(P1m21ii 222，41jjjk2

25、1kkkqlogq)y(Plog)y(PmC信道容量信道及信道容量2022-10-27)bit(365.01.0log1.07.0log7.04.0log4.021.0log1.02.0log2.07.0log7.02.0log2.014.0log4.02达到信道容量的信源概率分布21)x(P)x(P21)bit(365.01.0log1.07.0log7.04.0log8.0log)1log()1(21log)1(C22212111信道及信道容量2022-10-278181214181814121)X/Y(P信道的信道容量及达到信道容量时的信源概率分布例2行可排列81814121Q不存在P，

26、列不可排列信道及信道容量2022-10-27按列分成两个不相交的子集后，两个子集构成的子矩阵21414121)X/Y(P181818181)X/Y(P2都列可排列，所表示的信道为准对称信道4121P18181P2信道及信道容量2022-10-2783)4121(21p21)y(P2m21ii 111，81)8181(21p21)y(P2m21ii 222，41jjjk21kkkqlogq)y(Plog)y(PmC信道容量)bit(061.041log4121log2183log83281log81241log4121log2181log81283log832信道及信道容量2022-10-272

27、1)x(P)x(P21达到信道容量的信源概率分布信道及信道容量2022-10-27四、N次扩展信道及信道容量1、多符号离散信道定义对应于多符号离散信源和多符号离散信宿的信道表示信源离散型随机过程X1X2XN信宿离散型随机过程Y1Y2YN信道及信道容量2022-10-27)x(P,),x(P),x(P)X(PN,2,1kx,x,xXn21kn21k设n,2,1i,i,ixxxXXXN21iiiN21N21为信源发出的消息的取值随机过程)y(P,),y(P),y(P)Y(PN,2,1knmy,y,yYm21km21k，通常设m,2,1j,j,jyyyYYYN21jjjN21N21为信宿收到的消息的

28、取值随机过程信道及信道容量2022-10-27X1X2XNP(Y1Y2YN/X1X2XN)Y1Y2YN)XXX/YYY(PN21N21)xxx/yyy(P)xxx/yyy(P)xxx/yyy(P)xxx/yyy(PN21N21N21N21N21N21N21N21nnnmmmnnn111111mmm111111n,2,1i,i,i1xxx/yyy(P1)xxx/yyy(P0N21m1jm1jiiijjjiiijjj1NN21N21N21N21 且其中，信道及信道容量2022-10-272、N维离散平稳信道定义多符号离散信道对任意两个不同时间起点k和l，其转移概率分布及直到N维的各维联合转移概率分

29、布都相同取l=1，N维离散平稳信道)XXX/YYY(P)XXX/YYY(P)XX/YY(P)XX/YY(P)X/Y(P)X/Y(PN21N211Nk1kk1Nk1kk21211kk1kk11kk信道及信道容量2022-10-273、N维离散平稳无记忆信道DMC定义N维离散平稳信道的符号序列中各符号相互独立表示m,2,1j,j,jn,2,1i,i,i)x/y(P)x/y(P)x/y(P)xxx/yyy(PN21N21ijijijiiijjjNN2211N21N21信道及信道容量2022-10-27)XXX/YYY(PN21N21)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y

30、(P)x/y(P)x/y(PNN11NN11NN11NN11nmnmn1n11m1m1111)X/Y(PNNN维离散平稳无记忆信道形式上相当于单符号离散信道的N次扩展信道N次扩展信道对应于N次扩展信源和N次扩展信宿的信道信道及信道容量2022-10-274、N次扩展信道的信道容量)X/Y(H)Y(H)Y;X(I)YYY;XXX(INNNNNN21N21)Y;X(NI)X/Y(NH)Y(NHNC)Y;X(NImax)Y;X(ImaxC)X(PNN)X(PNN信道及信道容量2022-10-27BSC的信道矩阵pppp)X/Y(P二次扩展信道的信道矩阵2222222222pppppppppppppp

31、pppppppppp)X/Y(P二次扩展信道的信道矩阵和信道容量例1信道及信道容量2022-10-27二次扩展信道的信道容量)plogpplogp1(2C2C2222241jjj2plogppplogpppplogppplogp2qlogq4logCC2plogp2plogp22plogp2plogpp2plogpp2plogp2222习题：(P99-101)3.7、3.15信道及信道容量2022-10-27五、单符号连续信道及信道容量1、单符号连续信道定义对应于单符号连续信源和单符号连续信宿的信道表示信源连续型随机变量X信宿连续型随机变量Y信道及信道容量2022-10-27)x(pbxa概率

32、密度函数设随机变量X的取值x为信源发出的消息)y(pba,d,c dyc概率密度函数，通常设随机变量Y的取值y为信宿收到的消息Xp(y/x)Y信道及信道容量2022-10-272、单符号连续信道的噪声熵 y)x/y(plogyx)x/y(p)x(plim)X/Y(Hm1jn1iijiji0y,xm,n绝对噪声熵p(y/x)为信道转移概率密度函数1dy)x/y(pdc且m1jn1iji0y,xm,nm1jn1iijji0y,xm,nylogyx)yx(plim)x/y(plogyx)yx(plim信道及信道容量2022-10-27 dcba0ymdcbadxdy)xy(pyloglimdxdy)

33、x/y(plog)xy(p yloglimdxdy)x/y(plog)xy(p0ymdcba相对噪声熵 dcbacdxdy)x/y(plog)xy(p)X/Y(H表示信道及信道容量2022-10-273、平均互信息量)X/Y(H)Y(H)Y;X(I)X/Y(H)Y(Hyloglim)X/Y(Hyloglim)Y(Hcc0ymc0ymc相对熵不能作为信息度量，平均互信息量作为熵差，具有信息度量的意义信道及信道容量2022-10-274、平均互信息量的主要性质 对称性)X;Y(I)Y;X(I 非负性0)Y;X(I)Y(H)X/Y(Hcc dcdcbady)y(plog)y(pdxdy)x/y(pl

34、og)xy(p信道及信道容量2022-10-27 dcbadxdy)x/y(p)y(plog)xy(p dcbadxdy 1)x/y(p)y(p)xy(p0dxdy)xy(pdxdy)y(p)x(pdcbadcba 0)X/Y(H)Y(H)Y;X(Icc信道及信道容量2022-10-27 严格凸函数性信道固定时，I(X;Y)是信源概率密度函数p(x)的严格上凸函数信源固定时，I(X;Y)是信道转移概率密度函数p(y/x)的严格下凸函数信道及信道容量2022-10-275、信道容量与最大信息传输速率信道固定时，平均互信息量是信源概率密度函数p(x)的严格上凸函数，总能找到一种信源概率密度函数p(

35、x)，使信道中传输的平均互信息量达到最大定义信道转移概率密度函数p(y/x)不变时平均互信息量的最大值，用C表示信道及信道容量2022-10-27表示)Y;X(ImaxC)x(p连续信道习惯于考虑信道在单位时间内平均互信息量的最大值最大信息传输速率定义单位时间的信道容量，用Ct表示信道及信道容量2022-10-27其中T为平均传输一条消息所需的时间最大信息传输速率的单位为bit/sec(bps)表示)Y;X(ImaxT1TCC)x(pt信道及信道容量2022-10-27六、高斯加性信道及信道容量1、高斯加性信道加性噪声信道中噪声与信号相互独立且对信号的作用表现为线性叠加定义作用下的信道的白色高

36、斯加性噪声、方差均值WGANP0N2信道及信道容量2022-10-27表示XY=X+NNX的概率密度函数为p(x)，Y的概率密度函数为p(y)，N的概率密度函数为p(n)222n2e21)n(p且信道及信道容量2022-10-272、高斯加性信道的相对噪声熵相应的雅可比行列式11011yfyfxfxfJ2121)x/y(p)x(p)xy(p)n(p)x(p)xn(pJ)xn(p)xy(pxyfn,xfx21设坐标变换信道及信道容量2022-10-27222n2e21)n(p)x/y(p dxdy)x/y(plog)x/y(p)x(p)X/Y(Hc dxdn)n(plog)n(p)x(p)N(H

37、dn)n(plog)n(pc)eP2log(21)e2log(21N2信道及信道容量2022-10-273、高斯加性信道的信道容量)X/Y(H)Y(Hmax)Y;X(ImaxCcc)x(p)x(p)eP2log(21)Y(HmaxNc)x(pNX22X2YX2XPP0P0，方差足高斯分布，且均值的高斯分布，信宿也满，方差信源取均值根据平均功率受限下的最大相对熵定理，信宿具有最大相对熵信道及信道容量2022-10-27)PP(e2log21)e2log(21(Y)Hmax NX2Ycp(x)高斯加性信道的信道容量)PP1log(21)eP2log(21)PP(e2log21CNXNNXSNRPP

38、NX为信噪功率比其中信道及信道容量2022-10-274、高斯加性信道的最大信息传输速率如果所传输信号的带宽为B，根据采样定理，不失真传输一条消息的最小时间T=1/2B高斯加性信道的最大信息传输速率香农公式)PP1log(BB21/)PP1log(21TCCNXNXt的单边功率谱密度为设WGANBPNN0)BNP1log(BC0Xt信道及信道容量2022-10-27香农公式的意义最大信息传输速率与所传输信号的带宽成正比，基本与信噪功率比成正比信噪功率比小于1时最大信息传输速率仍大于0所传输信号的带宽趋于无穷时，最大信息传输速率趋于有限值0XtBNPelogClim信道及信道容量2022-10-

39、27最大信息传输速率一定时，增大所传输信号的带宽，可以降低对信噪功率比的要求信道及信道容量2022-10-27高斯加性信道所传输信号的带宽B=3kHz，最大信息传输速率Ct=1.5104bps，求信噪功率比；如果将信噪功率比降低到-3dB，求保持同样最大信息传输速率所需的带宽4NX3NXt105.1)PP1log(103)PP1log(BC5315)PP1log(NX例1信道及信道容量2022-10-274NXt105.1)5.01log(B)PP1log(BC)dB(9.1431lg10PPlg10NX即3.0PPlg3PPlg10NXNX即5.010PP3.0NX)kHz(6.25585.

40、0105.15.1log105.1B443113212PP5NX信道及信道容量2022-10-27习题：(P102)3.19、3.20信道及信道容量2022-10-27七、多符号连续信道及信道容量1、多符号连续信道定义对应于多符号连续信源和多符号连续信宿的信道表示信源连续型随机过程X1X2XN信宿连续型随机过程Y1Y2YN信道及信道容量2022-10-27)xxx(p)xx(p)x(pN,2,1kbxaN21211k，联合概率密度函数概率密度函数设随机过程X1X2XN的取值x1x2xN为信源发出的消息)yyy(p)yy(p)y(pN,1,2,kba,d,c dycN21211k，联合概率密度函

41、数概率密度函数，通常设随机过程Y1Y2YN的取值y1y2yN为信宿收到的消息信道及信道容量2022-10-27X1X2XNp(y1y2yN/x1x2xN)Y1Y2YNp(y1y2yN/x1x2xN)为信道转移概率密度函数1dydydy)xxx/yyy(pdcN21N21N21dcdc 且2、N维连续平稳信道定义多符号连续信道对任意两个不同时间起点k和l，其转移概率密度函数及直到N维的各维联合转移概率密度函数都相同信道及信道容量2022-10-27取l=1，N维连续平稳信道)xxx/yyy(p)xxx/yyy(p)xx/yy(p)xx/yy(p)x/y(p)x/y(pN21N211Nk1kk1N

42、k1kk21211kk1kk11kk3、N维连续平稳无记忆信道定义N维连续平稳信道的符号序列中各符号相互独立信道及信道容量2022-10-27表示)x/y(p)x/y(p)x/y(p)xxx/yyy(pNN2211N21N21N维连续平稳无记忆信道形式上相当于单符号连续信道的N次扩展信道N次扩展信道对应于N次扩展信源和N次扩展信宿的信道4、高斯加性信道的N次扩展信道222n2e21)n(p)x/y(p信道及信道容量2022-10-27)x/y(p)x/y(p)x/y(p)xxx/yyy(pNN2211N21N21NN21)n(p)n(p)n(p)n(p5、高斯加性信道N次扩展信道的信道容量)PP1log(2NNCCNXN6、高斯加性信道N次扩展信道的最大信息传输速率)PP1log(NBNCCNXtNt