第三章离散信道及其信道容量课件.ppt_163文库

资源描述

1、第三章离散信道及其信道容量第一节信道的数学模型及分类第二节平均互信息及平均条件互信息第三节平均互信息的特性第四节信道容量及其一般计算方法第五节离散无记忆扩展信道及其信道容量第六节信源与信道的匹配第一节信道的数学模型及分类1、信道的分类：根据信道用户的多少，可分为：（1）单用户信道：只有一个输入端和一个输出端，单向通信（2）多用户信道：至少有一端有两个以上的用户，双向通信根据输入端和输出端的关联：（1）无反馈信道:输出端信号对输入端信号无影响、无作用（2）有反馈信道：信道输出端的信号反馈到输入端，对输入端的信号起作用，影响输入端信号发生变化根据信道参数与时间的关系：（1）固定

2、参数信道：信道的参数不随时间变换而改变（2）时变参数信道：信道的参数随时间变换而变换根据输入输出信号的特点：（1）离散信道：输入和输出的随机序列的取值都是离散的信道（2）连续信道：输入和输出的随机序列的取值都是连续的信道（3）半离散半连续信道：输入序列是离散型的但相应的输出序列是连续的信道，或者相反。（4）波形信道：信道的输入输出都是时间上连续的随机信号P(y/X)XY根据这一模型，可对信道分类如下：设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示：规定一个离散信道应有三个参数：输入符号集：X=x1，x2，输出符号集：Y=y1，y2，信道转移概率：P(Y/X)=p(y1/x

3、1),p(y2/x1),p(/x1),p(y1/)p(/)nxmymymynxnx2、离散信道的数学模型描述输入信号和输出信号之间的统计依赖关系，反映信道的统计特性（1）无干扰（无噪）信道：输入信号与输出信号有一一对应关系1()()(/)0()yfxyfxPyxyfx，并且（3）有干扰有记忆信道：这是最一般的信道，信道中不仅有干扰，并且某一瞬间的输出符号不仅与当前时刻的输入有关，而且还与其他时刻信道输入符号及输出符号有关。（2）有干扰无记忆信道：输入与输出无一一对应关系，输出只与当前输入有关；NiiiNNxyPxxxyyyPxyP12121)()()/(单符号离散信道的输入变量为X，取值于输

4、出变量为Y，取值于。并有条件概率条件概率被称为信道的传递概率或转移概率。一般简单的单符号离散信道的数学模型可以用概率空间X,p(y|x),Y来描述。12,raaa12,sbbb(|)(|),(1,2,;1,2,)jiP y xP bair js3、单符号离散信道的数学模型1ara1bsb(|)jiP baXYP=y1y2ymx1p(y1/x1)p(y2/x1)p(ym/x1)x2p(y1/x2)p(y2/x2)p(ym/x2)xnp(y1/xn)p(y2/xn)p(ym/xn)表示成矩阵形式：X=0,1;Y=0,1;p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;P=01

5、01-pp1p1-p 0 1-p 0 p p 1 1-p 1例1 二元对称信道（BSC）X=0,1;Y=0,2,1P=02101 pp010p1-p 0 1-p 0 pp 1 1-p 12例2 二元删除信道（BEC）P=y1y2ymx1p(y1/x1)p(y2/x1)p(ym/x1)x2p(y1/x2)p(y2/x2)p(ym/x2)xnp(y1/xn)p(y2/xn)p(ym/xn)由此可见，一般单符号离散信道的传递概率可以用矩阵表示为了表述简便，可以写成(/)jiijP bap111212122212.ssrrrsppppppPppp4.一般单符号离散信道的一些概率关系（1）联合概率()

6、()(/)()(/)ijijijijP abP a P baP b P ab(/)jiP ba其中称为前向概率，描述信道的噪声特性(/)ijP ab称为后向概率，有时也把称为先验概率，把称为后验概率()iP a（2）输出符号的概率1()()(/)rjijiiP bp a p ba（3）后验概率()(/)()ijijjP abP abP b(/)ijP ab1(/)1rijiP ab 表明输出端收到任一符号，必定是输入端某一符号输入所致1、信道疑义度11(/)(/)log(/)rjijiijH X bP abp ab 这是收到后关于X的后验熵，表示收到后关于输入符号的信息测度jbjb,1

7、(/)(/)()log(/)jX YH X YE H X bP xyP x y 这个条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，H(X/Y)=0,一般情括下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。第二节平均互信息及平均条件互信息I(X;Y)=H(X)-H(X/Y)2、平均互信息其中H(X)表示传输前信源的不确定性，而H(X/Y)表示收到一个符号后，对信源尚存的不确定性，所以二者之差即为通过信道消除的不确定性，信道传递的信息量。XYXyxPxyPxPxPYXI,)(1log)

8、()(1log)();(YXYXyxPxyPxPxyP,)(1log)()(1log)(YXxPyxPxyP,)()(log)(YXyPxPxyPxyP,)()()(log)(YXyPxyPxyP,)()(log)(（1）平均互信息（2）互信息互信息I（x;y)是代表收到某消息y 后获得关于某事件x的信息量。即)()(log)()()(log)()(log);(yPxyPyPxPxyPxPyxPyxI注意：互信息可取正值，也可取负值和0。对于平均互信息XYXYXYxPyxPxyPyxIxyPyxIEYXI)()(log)();()();();(永远不会取负值I(X;Y)=H(X)-H(X/Y)

9、=H(X)+H(Y)-H(XY)=H(Y)-H(Y/X)（3）互信息与其他的熵之间的关系也可以得到：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)互信息I(X;Y)也表示输出端H(Y)的不确定性和已知X的条件下关于Y的不确定性之差，也等于发送前后关于Y的不确定性之差。互信息与各类熵之间的关系可以用维拉图表示：H(X)H(Y)H(X|Y)H(Y|X)I(X;Y)H(X,Y)ABABABABABH(X)H(Y)I(X;Y)H(X|Y)H(Y|X)它们都是由于噪声干扰的存在而存在的。信道中存在噪声干扰，是减低信道传信能力的基本原因。H(X/Y)即信道疑义度，也表示通过有噪信道造成的损失，

10、故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y/X)表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，故也称之为噪声熵或散布度。（4）两种极端情况的信道无噪一一对应信道此时可以计算得：H(X/Y)=H(Y/X)=0在图一中表示就是两圆重合，即：此信道输入符号和输出符号完全一一对应，因此)(1)(0)(xfyxfyyxP)()();(YHXHYXIx1y1p(y1|x1)=1x2y2p(y2|x2)=1xnynp(yn|xn)=1信道模型 jijixypij01)|(1.00.0.100.01)|(XYP这种信道的输入和输出是一一对应的，即:因此

11、不难证明:H(XY)=H(X)=H(Y),H(X|Y)=H(Y|X)=0 在这种无干扰信道中，对应于输入符号有唯一的接收符号，接收端的平均不确定程度和发送端的平均不确定程度相同；在这种信道中，信息被无损地传输，故又称为“无损信道”；输入输出完全统计独立同理I(X;Y)=0 即)()()()(xPyxPyPxyPH(X/Y)=H(X)H(Y/X)=H(Y)则信道模型x x1 1x x2 2x xn ny y1 1y y2 2y ym mp p(y yn n|x x1 1)=1 1/m mp p(y y1 1|x x1 1)=1 1/m mp p(y y2 2|x x1 1)=1 1/m m这种

13、H(X)完全一样，信息无法传输，称为“全损信道”；3.平均条件互信息（1）条件互信息已知事件Zz)()()(log)()(log)()(log);(zyPzxPzxyPzyPxzyPzxPyzxPzyxIZzYy,的条件下，接收到y后获得关于某事件x的条件互信息先验概率和后验概率都是在某一特定条件下的取值，这是条件互信息与互信息的区别已知后，总共获得关于Xx的互信息)()()()(log)()(log);(yxPxPyzxPyxPxPyzxPyzxI);();()()(log)()(logyzxIyxIyxPyzxPxPyxP(2)平均条件互信息XYZXYZzyPzxPzxyPxyzPzxPy

14、zxPxyzPzyxIEZYXI)()()(log)()()(log)();();(XYZxPyzxPxyzPyzxIEYZXI)()(log)();();()()();(YZXHZXHZYXI);();();();();(ZYXIZXIYZXIYXIYZXI例2某2元通信系统，它发送1和0的概率为p(1)=1/4,p(0)=3/4,由于信道中有干扰。通信不能无差错的进行。即有1/6的1在接受端错成0，1/2的0在接受端错成1。问信宿收到一个消息后，获得的平均信息量是多少？P(y2)=5/12 y=05/61/21/21/6P(y1)=7/12 y=1P(x2)=3/4 x=0P(x1)=1/

15、4 x=1p(x1)=p(1)=1/4 p(x2)=p(0)=3/4根据题意确定p(yj/xi):p(y1/x1)=p(1/1)=5/6,p(y2/x1)=p(0/1)=1/6p(y2/x2)=p(0/0)=1/2,p(y1/x2)=p(1/0)=1/2这就叫做信道特性，如果列成矩阵，就叫信道矩阵。解：先用公式p(xi)p(yj/xi)=p(xiyj)来计算，p(xiyj)称为联合概率。p(x2y1)=p(01)=p(0)p(1/0)=3/41/2=3/8p(x2y2)=p(00)=p(0)p(0/0)=3/41/2=3/8p(x1y2)=p(10)=p(1)p(0/1)=1/41/6=1/2

16、4p(x1y1)=p(11)=p(1)p(1/1)=1/45/6=5/24再计算信宿端p(yj)p(y1)=p(1)=1/45/6+3/41/2=7/12p(y2)=p(0)=3/41/2+1/41/6=5/12再利用公式p(xi/yj)=p(xiyj)/p(yj)来计算后验概率p(xi/yj)()(111ypyxp127245145)()(112ypyxp12783149p(x1/y1)=p(x2/y1)=)()(221ypyxp125241101)()(222ypyxp12583109p(x1/y2)=p(x2/y2)=现在可以计算信宿收到一个消息后所获得的信息量：)p(x)/yp(x22

17、24/310/9)p(x)/yp(x1114/114/5)p(x)/yp(x1214/110/1)p(x)/yp(x2124/314/9I(发0；收0)=I(x2;y2)=log=log2=log2=log210/7=0.515比特/消息=log2(通信错误，没有消除不确定性，反而增加了不确定性，相当于得到了负消息)=log2=log26/7=-0.222比特/消息I(发0；收1)=I(x2;y1)=log=log22/5=-1.322比特/消息I(发1；收0)=I(x1;y2)=logI(发1；收1)=I(x1;y1)=log=log25/6=0.263比特/消息我们为了得到信宿收到一个消息

18、所获得的平均信息量（算术平均与统计平均统计平均）：I平均=p(x2y2)I(x2;y2)+p(x1y1)I(x1;y1)+p(x1y2)I(x1;y2)+p(x2y1)I(x2;y1)=3/80.263+5/240.515-1/241.322-3/80.222=0.067比特/消息（差错率太高了）I负值?）数学上可以证明平均信息量是非负的。例题3.3四个等概分布的消息M1，M2，M3，M4被送入一个二元无记忆对称信道进行传输。通过编码使M1=00，M2=01，M3=10，M4=11。而BSC信道如图所示。试问，输入是M1和输出符号是0 的互信息是多少？如果知道第二个符号也是0，这时带来多少附加

19、信息量？XY0101pppp解：根据题意知,)10()0(,)00()0(,)10()0(,)00()0(41)()()()(43214321pPMPpPMPpPMPpPMPMPMPMPMPpMPMPMP41111)0()()0(输入为M1和第一个输出符号0的联合概率根据信道的特性，输出第一个符号为0的概率2141414141)0()()0(41ppppMPMPPiii由于信道无记忆)(log1log)0()()0(log)0;(214141111bitppPMPMPMI211141)00()()00(pMPMPMP21)00()00()0000()00(pPPPMP所以若输出符号为00，可得

20、因此4141)00()()00(iiiMPMPP同理，得)(log22)00()()00(log)00;(111bitpPMPMPMI因此，当第一个符号为0，第二个符号也是0时所带来关于M1的附加信息pMIMIMIlog1)0;()00;()00;(111 名称符号关系图示无条件熵条件熵条件熵联合熵交互熵)/()()();()/()/()(XYHXYHXHYXIYXHYXHXH)(XH)(YH)/(YXH)/(XYH)()(YXHXYH);();(XYIYXI)/()()();()/()/()(YXHXYHYHYXIXYHXYHYH);()()()()

21、/(YXIXHYHXYHYXH);()()()()/(YXIYHXHXYHXYH);()/()/();()()()/()()/()()(YXIXYHYXHYXIYHXHYXHYHXYHXHXYH)()()()/()/()()/()()/()();(XYHYHXHYXHXYHXYHXYHYHYXHXHYXIYXYXYXYXYXYX各种熵之间的关系第三节平均互信息的特性1、平均互信息的非负性 I(X;Y)=03.通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互信息等于0，但决不会失去已知的信息。证明：结论：1.平均互信息量不是从两个具体消息出发，而是从随机变量X和

22、Y的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值。2.从一个事件提取关于另一个事件的信息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加.YXXYxyPyPxPxypxyPyPxPxyPYXI,0)1)()()()()()()(log)();(由条件熵的非负性很容易得到上式。2、平均互信息的极值性I(X;Y)=0（2）平均互信息的极值性I(X;Y)=H(X)I(Y;X)H(Y)（3）平均互信息量的交互性I(X；Y)=I(Y；X)（4）平均互信息的凸状性 1 平均互信息平均互信息I(X;Y)是信源概率分布是信源概率分布P(X)的的型凸函型凸函数数2

23、平均互信息平均互信息I(X;Y)信道传递概率分布信道传递概率分布P(Y/X)的的 U型凸型凸函数函数6.I(XN;YN)与I（X；Y）的关系如果信道是无记忆的，即1(/)(/)NiiiP yP yxx1(;)(;)NNNiiiI XYI X Y则：如果信源是无记忆的1(;)(;)NNNiiiI XYI X Y 当离散信源和离散信道都是无记忆时，等号成立（四）多个随机变量之间的平均互信息1.平均条件互信息XYZXYZzyPzxPzxyPxyzPzxPyzxPxyzPzyxIEZYXI)()()(log)()()(log)();();(XYZxPyzxPxyzPyzxIEYZXI)()(log

24、)();();()()();(YZXHZXHZYXI);();();();();(ZYXIZXIYZXIYXIYZXI2.平均条件互信息与熵函数和互信息的关系（五）离散信道的信道容量1.离散信道的信道容量信道容量：最大信息传输率CI X YH XH X YP XP Xmax(,)max()(/)()()2.计算信道容量的方法（1）运用信道容量解得充要性（2）运用特殊信道的容量公式求解（3）运用r个方程求解（六）常见信道的平均互信息和信道容量1.无躁一一对应信道（无躁无损信道）I(X;Y)=H(X)=H(Y)C=logr=logs2.有躁无损信道此时信道疑义度为0，而信道噪声熵不为0，从而 C

25、=maxI(X;Y)=maxH(X)-H(X/Y)=maxH(X)=logr3.无躁有损信道此时信道疑义度不为0，而信道噪声熵为0，从而 C=maxI(X;Y)=maxH(Y)-H(Y/X)=maxH(Y)=logs4.离散对称信道12max()(,.)sCH YH p pplog2()1()CH pH p 5.强对称信道log(,.,)111pppCrH prrrloglog(1)()rrH p6.二元对称信道7.准对称信道121log(,.,)lognskkkCrH p ppNM（七）无记忆N次扩展信道的I（X；Y）和容量(;)(;)NNI XYNI X YNCNC（八）信道剩余度定义：信

26、道剩余度C-I(X;Y)信道的相对剩余度(;)1I X YC作业3.11()log0.60.737I x 2()log0.41.322I x(1)1111212()()(/)()(/)0.8p yp x p yxp xp yx(2)11111(/)(/)log0.059()p yxI xyp y2()0.2p y12(/)0.093I xy 21(/)0.263I xy 22(/)0.322I xy第三章(3)()(0.4)0.971H XH153()0.60.40.864P y()(0.8)0.722H YH(4)(/)0.963H X Y(/)0.714H YX(5)(;)0.008I X

27、 Y 返回第三章3.3 (1)1()()0.8114H XH132117()434312P y1231(/)loglog30.915323H Y x2231(/)loglog30.915323H Y x1122(/)()(/)()(/)0.915H YXP x H Y xP x H Y x7()()0.98112H YH(;)()(/)0.066I X YH YH YX(/)()(;)0.745H X YH XI X Y(2)21()0.0853CH 返回第三章3.9 (1)1(0.98)0.8586CH 10秒钟能传的最大信息量10*1500*12880Cbit不能传输返回第三章3.11 (1)可分为：pppp221(,2)(1 2)log(1 2)2 log4 CH pp(2)可分为：pppp20021(,2)(1 2)log(1 2)2 log2 CH pp 信道2的信道容量大于信道1的信道容量返回

展开阅读全文