通信理论与系统一教学课件.ppt

1、23连续连续信源信源平稳信源平稳信源非平稳信源非平稳信源连续新源：连续新源：输出消息在时间和取值上都连续的新源，用随机过程x(t)来描述。统计特性随时间的平移是否变化4平稳信源平稳信源统计特性与时间起点无关的连续信源。集平均以概率1等于时间平均的平稳随机过程。遍历过程遍历过程5)(txXEitTTTtxdttxT)()(21lim 时时间间平平均均：dxxxpXEit)(集集平平均均：6第一讲主要内容7计算连续信源熵的两种方法：将连续信源数字化，再用离散熵计算先进行抽样，再把抽样序列看作量化 单位趋于0时的情况，然后定义计算信源熵。12主要讨论单变量连续新源的信息测度。8一维概率密度函数（边缘

2、概率密度函数）：dxxdFxpxpX)()()(的的概概率率分分布布函函数数XxF:)(dyydFypypY)()()(的概率分布函数YyF:)(9其中，F(x)、F(y)满足：()()()xF xP Xxp x dx()()()yF yP Yyp y dy条件概率密度函数为：()()|Y XX YPy xPx y10()()()()()|XYXY XYX YPxyPx Py xPy Px y联合概率密度函数为：()()XYF xyPxyx y 边缘概率密度函数为：()()XXYRPxPxy dy()()YXYRPyPxy dx111)(dxxp单变量连续信源的数学模型为：)(:xpRX并满足

3、12iaiadxxpiaXiaP)1()()1()(ixp中值定理：13111()()log()()log()()logniiinniiiiiH Xp ap ap ap ap a 00lim()()log()limlog()nnH Xp xp x dxp x dx xp(x)Oaba+(i-1)a+i推导连续推导连续信源信源熵：熵：14dxxpxpXHc)(log)()(为了在形式上与离散信源熵统一熵差仍然具有信息的特征)()();(YXHXHYXI1215求均匀分布的连续信源熵axbxbxaabxp,0 1)()()log()11loglog()()1bcabaHXp xp x dxdxba

4、bababa 例例1解答：解答：16连续信源熵 离散信源熵 172)(log)()(RcdxdyxypxypXYH2)(log)()(RcdxdyyxpxypYXH2)(log)()(RcdxdyxypxypXYH1819)log(ab一一维维：NXXXXN21 维维：NiiiNiiiNiiiabXabXabXP111)(0)()(1)(120NbabacdXdXXPXPXHNN1)(log)()(11NbaNiiibaNiiidXdXababNN111)(1log)(111Niiiab1)(logNiiiab1)log()()()(21NcccXHXHXH21222)(21)(mxexpmd

5、xxxpm)(为均值222)()(dxxpmx为方差（平均功率）时当2P 0m222()22()22222()()log()1 log2()log2()log()2 log2cx mHXp xp x dxp xedxxmp x dxep xdxe 23结论结论对对整整体体特特性性无无影影响响影影响响信信源源的的整整体体特特性性，m2高斯信源的熵仅与方差有关。高斯信源的熵仅与方差有关。原因原因24其它 00 1)(xemxpmx0)(log)()(dxxpxpXHc201()logxmp xedxm 2200log()log()xmp x dxep xdxm2log me3返回2526连续信源熵

6、可为负值连续信源熵的可加性)()()(XYHXHXYHccc)()()()()(2121312121NNccccNcXXXXHXXXHXXHXHXXXH)()()(YXHYHXYHccc推广到N个变量的情况12272)(log)()(RcdxdyxypxypXYH证：证：22)(log)()(log)(RRdxdyxypxypdxdyxpxyp)()(XYHXHcc22)(log)()(log)(RRdxdyxypxypdxxpdyxyp2)(log)()(log)(RRdxdyxypxypdxxpxp28);();(0);(XYIYXIYXIccc(;)()()cccXIX YHXHY(;)

7、()()cccYIX YHYHX)()(XHYXHcc证证：22)(log)()(log)(RRdxdyxpxypdxdyyxpxyp2)()(log)(Rdxdyxpyxpxyp3平均互信息的非负性29zezzzzlnloglog 0,1ln利利用用2)()(log)()()(RccdxdyyxpxpxypXHYXH21)()()(logRdxdyyxpxpxypeRRRedyypdxxpdxdyxyplog)()()(2030);();(XYIYXIcc);();(YXIZXIcc);();(ZYIZXIcc31最大连续熵定理4对离散信源，当信源等概分布时，信源熵取极大对离散信源，当信源等

8、概分布时，信源熵取极大值；值；连续信源如果没有限制条件，就没有最大熵，在连续信源如果没有限制条件，就没有最大熵，在不同限制条件下，信源的最大熵也不同。不同限制条件下，信源的最大熵也不同。信源输出值受限；信源输出值受限；信源输出的平均功率受限；信源输出的平均功率受限；信源输出值的均值受限。信源输出值的均值受限。32 若代表信源的N维随机变量取值被限定在一定范围内，在有限定义域内均匀分布的连续信源有最大熵。133NiiiiiabbaX1 ),;(其它 0);();(1)(11NiiiNiiibaXbaxp设设N维随机变量维随机变量其均匀分布的概率密度函数为：其均匀分布的概率密度函数为：34)(xq

9、假设任意信源概率密度NNbabaNdadadaxp1121)(NNbabaNdadadaxq1)(1121可以证明可以证明XxqHc),(XxpHc),(35()()()()()()()()()()()()()()111111111121212121211,log1logloglog1logNNNNNNNNNbbcNaabbNaabbbbNNaaaabbNNiiaaiHq xXq xq x dxdxp xq xdxdxq xp xp xq xp x dxdxq xdxdxq xq xdxdxba ()()()()()()11212211 log1log1 1 log,NNNbbNaacNiii

10、p xq xedxdxq xeHp xXba 证明证明36 平均功率为P，均值m受限，当信源概率密度函数为正态分布时，具有最大熵。2371)()(dxxqdxxpmdxxxqdxxxp)()(222()()()()xmp x dxxmq x dx22()21()2x mp xe3820,mP当dxxqxqxxqH)(log)(),(dxxpxpxqxq)()()(1log)(dxxqxpxqdxxpxq)()(log)()(log)(3922()22221()log()log2x mq xdxq xedx 22222()log2log()2xmeq xdx222log2loge22log2 e

11、)(),(一一维维高高斯斯分分布布的的信信源源熵熵xxpHc40 当峰值功率受限、平均功率受限，连续信源的统计特性分别与两种常见噪声均匀噪声和高斯噪声的统计特性相一致时，信源具有最大连续熵。41连续信源输出非负信号的均值受限条件下，指数分布的连续信源具有最大熵。其它 00 1)(xemxpmx meXHclogmax342记指数分布条件下的熵为Hcp(x),x，其它任意分布的概率密度函数为q(x)，相应的熵为Hcq(x),x，由限制条件有：()()001p x dxq x dx()()00 xp x dxxq x dxm()2,logcHp xXme计算指数分布的信源熵为：43任意分布的信源熵

12、为：()()()()()()()()()()2020022002,log1logexp1loglog1 1log,ccHq xXq xq x dxp xxq xdxq xdxmmq xxm q x dxeq x dxmmeHp xX 444546(),(),ccHq xXHp xX(),(),pqccIHp x XHq x X()()p xq x47(),(),ccpqHq xXHp xXI测定q(x)之前连续信源的不确定度测定q(x)之后所消除的不确定度剩余的不确定度48常见信源是均值为0，平均功率受限信源平均功率受限信源2PPP)(eP2log),(高斯分布XxpHcPe2log),(Pc

13、XxpHXxpHc),(eP2log信源限定平均功率减小时，最大熵随之变小信源限定平均功率减小时，最大熵随之变小49(),(),ccPHq xXHp xX(),log2cHq xXePXxqHXxpHIccpq),(),(pqIxqX下下的的在在信信源源)(1log2log2log()2PePePP(),(),(),ccPq xHq xXHp xX任意50 推广到N维，假定各随机变量统计独立log()2pqNPIP5152 扩展信道（多符号离散信道）的信道容量 连续信道的信道容量53 定理一：设f(X)是定义在所有分量均非负的半n维空间上的凸函数，其中X=(x1,x2,xn)，假定f(X)的一

14、阶偏导数存在，且在定义空间上连续，则f(X)在定义空间上点X X*处取最大值的充要条件是()()*0,00,=0iiXXiiXXfXxxfXxx当时当时I(X;Y)是是PX的上凸函数，可得出的上凸函数，可得出I(X;Y)达到最大值，达到最大值，即信道容量解的充要条件。即信道容量解的充要条件。54先定义一个新的互信息量：先定义一个新的互信息量：()()()()21|;|logsjiijijjp baI a Yp bap b称为偏互信息，只对输出称为偏互信息，只对输出Y求统计平均，代表从输出求统计平均，代表从输出Y中得到关于输入中得到关于输入ai的信息。的信息。()()()()()()()2111

15、|;|log;rsjiijiijjriiip baI X Yp ap bap bp aI a Y得出得出I(X;Y)是是I(ai;Y)关于关于ai求统计平均。求统计平均。55定理二（一般DMC信道容量解的充要条件）：一般DMCX,Y,PY|X，其平均互信息量I(X;Y)在输入分布为()()()*12,.,XrPpapapa时取最大值的充要条件是()()()()*;,0;,0XXXXiiPPiiPPI a YCpaI a YCpa当当56证明：根据定义，DMC的信道容量就是I(X;Y)在约束条件()()101iriip ap a下的最大值。定义()()()1;1rXiif PI X Yp a将条

16、件约束极值问题转化为无条件约束极值问题。上凸函数PX的线性函数也是上凸函数57根据定理一，上凸函数f(PX)在()()()*12,.,XrPpapapa取最大值的充要条件是()()()()()()*0,0,XXXXiiPPiiPPfXp ap afXp ap a当0时当=0时58计算偏导数()()()()()()()()()()()()()21121121121/()/log()()/=()/log()/()/log()/=/loglorsjiXijiijiijsrjiijijiijrsjiijiijijsjijijjp baf Pp a p bap ap ap bp bap a p bap

17、ap bp bap a p bap ap bp bap bap b()22g;logieI a Ye59计算偏导数()()()()()()()()()()()()()21112211122211/()/log()1()()=log()/log/()=/log/log/log/rsnjiXijiiijiiijsrsjjijijijijisjijjijijijjp baf Pp a p bap ap ap ap bp bp bp a p bap bap ap bap bp baep bap ba()()()()()22112/=/log/log;logsssjijijijjjip bap bap

18、baep bI a Ye60于是充要条件变为：()()()()*2*2;log0;log=0XXXXiiPPiiPPI a YepaI a Yepa当时当时为确定常数，对第一式两边关于ai求统计平均()()()()*211;logXXrriiiiiPPp aI a Yp ae()()()*21log;XXXXriiPPiPPep aI a YI X YC当信道平均互信息量达到最大，所有概率非零的输入符号都传送相同的平均互信息量61例1.设信道转移矩阵为|1000101Y XP 求信道容量C和最佳输入分布解答：信道为一般信道，设最佳输入分布为PX*p*(a1),p*(a2),p*(a3)，3个输

19、入概率外加信道容量C需列4个方程，根据定理二有 62()()()()()()()()()()()()()()()()()()()()()()()()()()()()()11213111122123121232112223221222223221232223133132231|;|log|log|log1log|;|log|log|log11loglog|;|log|lp b ap bap baI a Yp b ap bap bap bp bp bCp bp b ap bap baI a Yp b ap bap bap bp bp bCp bp bp b aI a Yp b ap bap b()

20、()()()()()()()()()()23332332232223123|og|log1log1log1p bap bap bap bp bCp bp bp bp bp b 63()()()()()()()()()()()()212223222232222log1logloglog1log1log1logp bCp bp bChp bp bChh 化简得：解得：()()()()()21122log12log121hC()()()1112121Cp b()()()()()()()212311=2121C hp bp b64转移概率p(bj|ai)已知，输出分布p(bj)已求出，根据()()()

21、31|jijiip bp ap ba求出p(ai*)()()()()()()()()()*111*23111211121p ap ap a65例2：求Z型信道的信道容量C|101Y XPpp 解答：根据定理二列出方程()()()()()()()1212221221;log;log1logI a YCp bI a Yhppp bpp bC 化简得()()()()()()()212122212loglog1log1p bCpp bpp bChpp bp b 66解得()()()()()()1121122log12log11phpppCp p()()()()()()()()()()111211111

22、21121112211CppppphpCppp bp pp pp bp p()()()()()()()()()()()111111*2211*1211111111pppppppppp ap bpp pp pp ap ap p 67信道容量的迭代算法1972年，S.Arimoto和R.E.Blahut给出DMC信道容量计算的迭代算法：设DMC的转移概率矢量为 ，记 是任意给定的一组初始输入分布，其所有分量 均不为零，按下式不断对输入分布进行迭代、更新()|,|Y Xjii jPp ba()00XiiPPa()0iPa()()()()()11nkXnnkkrnniiXiPpapaPaP其中()()

23、()()()()211=exp;|exp|log|nXXnkXkPPsjkjkrnjijiiPI Xa Yp bap bapap ba68一般信道容量计算的迭代流程开始0XXPP()()()kXPC nC n、()()C nC n()()()()()1kXkkriiXiPp ap aP aP()CC nyesno()()()()()1=lnln maxrkkXkkXkC np aPC nP()()()()()211|=exp|log|sjkkXjkrjijiip baPp bap ap ba69 一般离散信道的信道容量 连续信道的信道容量70多符号离散信道多符号离散信道离散信道12NXX XX

24、1 2NYYYY12,krXa aaA噪声12:,NNrXA 12,ksYb bbB12:,NNsYA N次扩展信道模型单符号信道：输入和输出都只有一个随机变量多符号信道：序列的传送，也叫扩展信道71112111222212()().()()().().()().()NNNNNNssrsrrpppppppppN次扩展信道模型转移概率矩阵|,Y XX PYN次扩展信道的数学模型：()|XP YXY72N次扩展信道离散无记忆：YK仅与XK有关121211221(/)(./.)(/)(/).(/)(/)NNNNNiiiP YXP Y YYX XXP YXP YXP YXP YX73例1 求二进制对称

25、信道的2次扩展信道的数学模型解答：单符号二进制对称信道的输入和输出符号集合为12,Aa a12,Bb b二次扩展信道的输入和输出符号集合为 212341 1122122,=,Aa a a a a a a a 212341 11 22 122,=,Bbb bb b b b b 74计算转移概率()()()()2111 11 11111|pp bba ap bap bap()()()()211 21 11121|pp bba ap bap bapp2222|2222Y XppppppppppppPpppppppppppp 以此类推得到二次扩展信道的转移概率矩阵75扩展信道的平均互信息量()()()

26、()()()()()()()211211,;,log|=|logNNNNrshlNNhlhlhlrslhhlhhllpI X YI XYppppppp()()()()();|I X YH XH X YH YH YX76 定理1：信源发出的N元随机变量序列12NXX XX通过信道传送输出N元随机变量序列1 2NYYYY若信道无记忆，则有()()1;NKKKI X YI XY()()();=|I X YH YH YX证明：7711121212121211112(/).(.)(.)log(.)NNNNNNNnnmmiiijjjiiiiijjjjjiiiH Y Xp a aap b bba aap b

27、 bba aa1211111111112()()()log()()NNNNNNNnnmmiiijijiiijjjijip a aap b ap bap b ap ba 7811111112222222222()()log()()()log().()()log()NNNNNNNnmijijiijnmijijiijnmijijiijp ap bap bap ap bap bap ap bap ba 11221(/)(/).(/)(/)KKNKKKH YXH YXH YXH YX79()()()()()()()()()()112112111;=|;|NKKKNNKKKNNKKNNKKKKKI X Y

28、H YH YXH YYYH YXH YYYH YI X YH YH YX()()1;NKKKI X YI XY80 定理2：信源发出的N元随机变量序列8112NXX XX通过信道传送输出N元随机变量序列1 2NYYYY若信源无记忆，则有()()1;NKKKI X YI XY()()();=|I X YH XH X Y证明：81因为信源无记忆，故()()()121NNkkH XH X XXH X()()()()()121 211 21 21|NNNNNNkkkH X YH X XXYYYH XYYYH XYYYH XY且()()()()()()111;=|;NNNkkkkkkkkI X YH X

29、H X YH XH XYI XY82 推论：信源发出的N元随机变量序列12NXX XX通过信道传送输出N元随机变量序列1 2NYYYY若信源和信道均无记忆信源和信道均无记忆，则有()()1;NKKKI X YI XY83N次扩展信道的信道容量（离散无记忆信道）()()()111max;max;max;XXXNNNNkkkkkPPPkkkCI X YI XYI XYC对同一信道，所有Ck均相同，所以有NCNC84串联信道信道IQ1信道IIQ2XYZ12,XrAa aa12,YsBb bb12,ZtCc cc(),|jii jP ba(),|kjj kP cb()()()()()()111|ski

30、jkijsjikijjsjikjjP caP b caP baP cabP baP cb12QQQ85设N个单元信道的转移概率矩阵分别为Q1 Q2 QN，则整个串联信道的转移概率矩阵为121NNkkQQQQQ两级串联信道的数据处理定理：两级串联信道的数据处理定理：两级串联信道，消息经过多级处理，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于减小。I(X;Z)I(Y;Z)I(X;Z)I(X;Y)86数据处理定理的证明()()()YZXHXHYZXI|;()()()YZXHZXHZYXI|;()()()()()ZYXIYZXIZXHXHZXI|;|;()()()YZXIYZXIYX

31、I|;()()YZXIYXI;()()()ZYXIYXIZXI|;()()YXIZXI;两式相减同理可得假定在Y已知的情况下，X与Z独立87数据处理定理的举例5.05.0)(21aaXPX()()()()()8.02.02.08.0|22122111bapbapbapbapYXP()()()()()9.01.01.09.0|22122111cbpcbpcbpcbpZYP已知：计算：()()()ZXIZYIYXI;重写转移概率的表示形式：行表示输入，列表示输出重写转移概率的表示形式：行表示输入，列表示输出88()()()signbitYXHXHYXI/278.02.0log2.08.0log8.

32、01|;22()()()signbitZYHYHZYI/531.01.0log9.01.0log9.01|;22()()()()()74.01.02.09.08.0|1221111111cbpbapcbpbapcap()74.026.026.074.08.02.02.08.09.01.01.09.0|ZXH()()()0.173326.0log26.074.0log74.01|;22ZXHXHZXIa1a2b1b2c1c2XYZ89例：求两个相同二元对称信道组成的串联信道的信道容量(BSC)解答：单个BSC的转移概率矩阵为12ppQQpp串联信道转移概率矩阵为121 2221 2ppppppp

33、pQQQpppppppp串联信道仍为二元对称信道90()()12log,12,1 2sCsH p ppHpppp 如果N个BSC相串联，可用正交变换的方法求出总的转移概率矩阵()()()()11 211 212211 211 2122NNNNNppppQpppp也是对称矩阵91可以看出，只要BSC有噪声，0 p 1，则()1/21/21 1limlim1,01/21/22 2NNNQCH()()()11 211 21,122NNNppCH 921X)(11XYP)(NNXYPNXX1YNYY独立并联信道信道是独立无记忆的，因此()()1;NKKKI X YI XY()()11max;max;X

34、XNNKKkPPKkCI X YI XYC93 一般离散信道的信道容量 扩展信道（多符号离散信道）的信道容量94连续信道的数学模型连续信道XYfX|Y(y|x)RRZ()|1Y XRfy x dy 单维连续信道的数学模型：X,fX|Y(y|x),Y多维随机变量序列：()|Y Xfy x()|,|,Y XX fy xY()()()1212|1|kkNNNY XkkY XY Xkfy xfy yyx xxfyx无记忆信道取值上连续的信道取值上连续的信道95单维连续信道连续信道的平均互信息量()()()()()()()()()2|2,;,log|=|logXYXYXYR RY XXY XYR Rfx

35、 yI X Yfx yfx fyfy xfx fy xdxdyfy()()()()();|=|I X Yh Yh Y Xh Xh X Y且96连续信道的信道容量()()max;XfxCI X Y连续信道的信道容量与输入概率密度函数有关找出fX(x)为何种函数时I(X;Y)达到最大值不加条件约束不加条件约束()()()()()()()max;max|;XXfxfxCI X Yb Xh Yh Y Xb X实际情况：b(X)为限制条件:b(X)E(X2)Ps()()()()()()()sup;sup|;XXfxfxCI X Yb Xh Yh Y Xb X97连续信道在输入平均功率受限时的信道容量()

36、()()()()()()()22max;max|;XXssfxsfxC PI X YE XPh Yh Y XE XP()()()()()()()()22sup;sup|;XXssfxsfxC PI X YE XPh Yh Y XE XP或只对特殊信道，如加性噪声信道，给出解析解98加性高斯噪声信道的信道容量如果信道的输入X，输出Y以及噪声Z这三个随机变量之间满足：Y X Z且输入X与干扰无关，则称该信道为加性噪声信道。()()()(),XYXZXZfx yfx zfx fz()()()()()()()()|,|XYXzY XZZXXfx yfx fzfy xfzfyxfxfx99()()();

37、|I X Yh Yh Y X()()()()()()()()()()()|2|221|=|log|1=log1logXY XY XR RXZZR RXZZR Rh Y Xfx fy xdxdyfy xfx fyxdxdyfyxfx fzdxdzfzh z()()();I X Yh Yh Z()()()()()()()()()()22max;sup;XXssfxssfxC Ph YE XPh ZC Ph YE XPh Z求信道容量转化为求h(Y)的最大值100最常见的加性噪声为高斯噪声()()2221exp22Zzfz均值为0，方差为PN 2的加性高斯噪声微分熵为：()()21log22Nh Z

38、eP于是当输入平均功率受限时()()()()()221max;log22XssNfxC Ph YE XPeP求信道容量关键在于求Y关于fX(x)的最大熵101求h(Y)最大熵的步骤假定信道输入X的均值为0，则信道输出Y的均值为E(Y)0平均功率EY2E(XZ)2EX2EZ22EXZ EX2EZ2 PSPN当平均功率受限时，随机变量只有服从高斯分布时熵才能达到最大值，因此()()()21exp22YSNSNyfyPPPP102 已知X和Y的最佳分布后，求出Y关于概率密度函数的最大熵X Y Z推出X也服从高斯分布()21exp22XSSyfxPP()()()()()()()222max;=max;

39、1log22XYssNfxfySNh YE XPh YE YPPe PP()()()222111log2log2=log1+222SsSNNNPC Pe PPePP103 上述推导说明，在加性高斯噪声信道中传输信息，高斯分布的输入信号是最有效的，信道容量与PS/PN有关；反之，对无记忆加性噪声信道，假设输入信号服从高斯分布，则服从高斯分布的噪声使信道的平均互信息量最小（高斯分布的噪声最有害）。()();GGGI XYI XY104一般加性噪声信道的信道容量的界 对于一般的无记忆加性噪声信道，假设输入信号的平均功率受限于PS，噪声的平均功率受限于PN，则信道容量的上、下界限为()2211log1

40、log22SSNsNEPPPC PPP其中 是Z的熵功率，h(Z)为微分熵。()1exp 22EPh Ze105证明：先证下界，假设输入信号和噪声均值均为0，因为信道容量是平均互信息的最大值，即()()()()()2max;XssGfxC PI X YE XPI XY而()();GGGI XYI XY()()1;log 12SsGGNPC PI XYP106再证上界：()()()()()221max;log22YsNSNfyh YH YE YPPe PP()()()21log22SSNC Pe PPh Z()()()222111log2log2log222SNSSNEEPPC Pe PPePP

41、输入XPS 噪声ZPN，输出信号Y PS+PNY服从高斯分布时，熵最大()212h ZEPee()()1ln 22Eh ZeP()()21log22Eh ZeP比特形式已知条件107波形信道 输入输出随时间连续取值、且取值是连续区间的信道，也称模拟信道波形信道X(t)Y(t)Z(t)连续信道12NXX XX1 2NYYYY12NZZ ZZ采样采样用用N维连续维连续信道近似波信道近似波形信道形信道108波形信道的信道容量()()()()()121 2;lim;lim;NNNNI X tY tI X YI X XXYYY()()()()2lim max;XTSSNfXCPI X YE XP波形信道

42、为无穷维连续信道一般性研究在数学上相当困难。109带限、加性高斯白噪声信道白噪声的功率谱密度()02ZNPfBfB相关函数()()00sin 2exp222BZBBNRjfdfN BB 平均功率()00NZPRN B110根据采样定理，带限为B，限时为T的随机信号Z(t)可用N=2BT个相互独立的随机变量序列12NZZ ZZ来近似表示。设Z(t)服从均值为0的高斯分布，采样后得到的2BT个独立分量也服从均值为0的高斯分布，各独立分量的平均功率等于0,T时段内总功率除以分量个数00,1,2,22kNNP TN BTNPkNNBT111按下面步骤求出带限B、限时T的加性高斯白噪声信道的信道容量：(

43、1)因为是加性信道，Y(t)=X(t)+Z(t)YXZ用N=2BT个采样点近似121 212=;NNNX X XXYYYYZZ ZZ112(2)信道无记忆、噪声相互独立YXZ111YXZ222YXZNNNYXZ连续信道一维连续加性噪声信道并联()()()()()21;BTkkkI X tY tI X YI XYZk均值为0、平均功率N0/2的高斯分布。113Xk平均功率受限，高斯分布时达到信道容量()()()2220max;11log1log122/2kkkkkkSkkkSSSNCPI XYE XPPPPN()()()()2221101;log12/2kBTBTSkkkPI X tY tI X

44、 YCN子分量子分量必须适当分配各子信道的平均功率，才能使I(X(t);Y(t)达到最大114(3)求连续信道的信道容量，相当于在约束条件()2222011111kBTBTTSkSkkPE XtdtE XPTTT下求()()22101max;maxlog12/2kBTSTSkPCPI X YN凸函数在约束条件下求极值的问题115由拉格朗日乘法：当所有输入分量的平均功率 都相等时，出现最大值，即kSP211122/2kkkkBTSSSSkSSPPBTPBPTTPPB信道容量为()222100/21log1log12/2BTSSTSkPBPCPBTNN B单位化为bit/s()20log1STSP

45、CPBN B香农信道容量公式香农信道容量公式116 用频带换信噪比，即扩频技术()20log1STSPCPBN B增大B提高信道容量可用于频率资源丰富的环境下。扩频方法提高信道容量的作用有限：()2000limlimlog11.44ln2SSSSBBPPPC PBN BNN117 用信噪比，B不变，增大PS/PN可增大C，但方法也有局限性。因为PS/PN的增大是靠增大输入功率PS来实现的，而()011lim0ln2/SSPSSdC PdPNPB随着PS的增大，C(PS)的增长率逐步变小，直至为0。表明：当PS大到一定程度后，即使PS增加很多，C(PS)的增长幅度却很小。118119失真测度失真

46、测度 信息率失真函数及其性质信息率失真函数及其性质 信息率失真函数的计算信息率失真函数的计算 限失真信源编码定理限失真信源编码定理120限失真编码 保熵变换并非总是必须的；保熵编码并非总是可能的；降低信息率有利于传输和处理。定 义：在信源编码时，引入一定的失真。主要任务：在允许的失真范围内把编码后的信息率压缩得最小引入限失真编码原因：121失真测度信源信道（信源编码器）Uu1,u2,urVv1,v2,vs无失真编码无损损信道H(U|V)=0 损失熵H(V|U)=0 噪声熵限失真编码有损损信道ui和vj之间的误差用一个非负实值函数d(ui,vj)表示，称为失真测度失真测度。122失真测度的矩阵表

47、示将rs个d(ui,vj)排成矩阵形式，称为失真矩阵()()()()()()()()()111212122211,ssrrrsd u vd u vd u vd u vd u vd u vdd u vd u vd u v对所有符号的失真度d(ui,vj)i,j取统计平均，称为平均失真度，即()()()11,rsijijijijDE d u vp u vd u v 123例1 设信源U取值于0,1，编码器输出取值于0,1,2，编码器相当于一个二元删除信道，规定失真度为：d(0,0)d(1,1)0;d(0,1)d(1,0)=1;d(0,2)=d(1,2)=0.5则失真矩阵为：010.5100.5d1

48、24失真度的函数形式 失真度函数唯一限制条件是d(ui,vj)非负。常用的失真度函数有：()0,1ijijd u vij误码失真()()2,ijijd u vuv均方失真(),ijijd u vuv绝对失真(),ijijid u vuvu相对失真离散信源连续信源125a1 b1a2b2anbnjiajibadji0),(aaaaaaa.0.01261a汉明失真011101110127符号序列的失真度函数 设编码器输入h和输出l均为N长符号序列，即12121,2,1,2,NNNhhhhNllllu uuhrv vvls将N长符号序列的失真度定义为()()1,kkNhlhlkdd uv第k位符号的

49、失真度128符号序列的平均失真度将N长符号序列的平均失真度定义为()()()()()()11111,=,NNNNkkrshlhlhlhlrsNhlhlhlkD NE dpdpd uv当信源和信道均无记忆时()()11,kkNNhlkkkD NE d uvDND单符号的平均失真度129 失真测度失真测度信息率失真函数及其性质信息率失真函数及其性质 信息率失真函数的计算信息率失真函数的计算 限失真信源编码定理限失真信源编码定理130保真度准则要求平均失真度(),ijDE d u vD保真度准则满足保真度准则的信道称为D允许信道。所有D允许信道的转移概率组成一个集合，记为BD，即|;DV UBPDD

50、在满足保真度准则下实现限失真编码。|V UDPB131信息率失真函数在BD中找一个PU|V，使I(U;V)最小，这个最小的平均互信息量称为信息率失真函数信息率失真函数，记为R(D)。()()()|min;min;VUDPBR DI U VI U VDD()()|inf;VUDPBR DI U V或者()()()()()|211|min|logVUDrsjiijiPBijjp vuR Dp up vup v离散信源保真准则下必须传输的信息率132序列的信息率失真函数要求平均失真度 的信道集合()D NND保真度准则()|;NNNDVUBPD NNDBND中，使I(UN;VN)最小的转移概率，为N