1、第三章第三章.连续信源的信息熵连续信源的信息熵 3.1 连续信源的离散化连续信源的离散化 (Discretization of Continuous Source)我们前面所介绍的信源均指离散信源，即信源所发的消息都是由符号或符号序列所组成；而且每一个符号的取值都属于一个有限元素组成的集合之中。1212,nna aaxAp ppfinite symbol or sequence 而连续信源是指信源所发出的消息都是由一个个随机过程(stochastic process)所形成。如：语音信号 它不仅幅度上，而且在时间上也都是 连续的，即分别属于一个无限的集合之中。(,)X t3.1 连续信源的离散
2、化连续信源的离散化 因此，我们所研究的问题就复杂了，然而任何复杂的问题都可以分解成比较简单的问题分步解决。故通常我们有一些处理连续变量的方法。()xH p(,)X tXX()()cxH X TimediscretizationStochastic processRandom vectorRandomvariableMemorylessMarkovianAmplitude discretizationAmplitudecontinuous正交变换正交变换Orthogonal Transformation 所谓正交变换是一种数学处理手段，将在T时间内的受限于最高频率为F的随机过程，无失真地变换成2
3、FT个随机变量。最理想的正交变换是：KL expansion。3.1 连续信源的离散化连续信源的离散化 因此任何复杂的统计对象，经多种处理后就可由浅入深地逐步解决问题。正如我们在离散信源中：110(,)()()()()(,)()logiLimaXXX tH XHXHI aH XHX tHHH XHn 任何处理过程总要丢失信息，任何处理过程总要丢失信息，最多保持不变。所以简化处理就最多保持不变。所以简化处理就得付出代价即：容忍信息的丢失，得付出代价即：容忍信息的丢失，除非正交变换和极限处理。除非正交变换和极限处理。消息消息事件事件随机随机变量变量随机随机序列序列随机随机过程过程自信息自信息信息熵
4、信息熵序列熵的表达类型序列熵的表达类型随机过程的熵随机过程的熵第三章.连续信源的信息熵 3.2 连续变量的相对熵连续变量的相对熵(The differential entropy of Continuous random Variable)一个连续变量总可以采用数字量化的方式简化成一个离散变量来近似，而且量化单位越小则所得的离散变量就越接近那个连续变量。因此我们针对连续变量的概率统计规律概率分布密度函数概率分布密度函数(probability density function)也可采用上述近似方法。()()()()()()()()()()()1:xxdefdefdefbbaF xf t dtP
5、 xp t dtF xP xf xp xP xwherbf x dxp xedx,为为概概率率分分布布函函数数。,为为概概率率分分布布密密度度。x()()p xf x0ab3.2 连续变量的相对熵连续变量的相对熵 如果把xa,b 的定义域划分成n个小区间，且每个小区间宽度相等。那么处于第i个区间的概率就等于：(1)()(1)()()();1,2,(1),definia iiaiipP xP aixaip x dxp xbainnxaiai where:Then:按按积积分分中中值值定定理理上上式式一一定定成成立立。x0ab()()p xf xix11111()log()log()()log()
6、(log)()()log()(log)nnnniininininiiiinnnininiiiHXpppxpxpxpxpxpxpx 13.2 连续变量的相对熵连续变量的相对熵 以上我们将一个连续变量的概率空间量化成一个离散空间，从而得到连续信源的近似信息熵。如果将此近似手段在取极限的方式下就可逼近这个连续变量的熵。00100lim()lim()log()(log)()log()lim(log)()()()()log()()lim(log)nnniniinnbandefcbdefcadefnHXpxpxp xp x dxHXHHXp xp x dxH where:and即即：称为相对熵Differ
7、ential entropy 称为绝对熵absolute entropy信息散度信息散度 D(p/q)(relative entropy)3.2 连续变量的相对熵连续变量的相对熵 在取极限的过程中由于n 相当于 0，此时这个离散变量越来越逼近一个连续变量；而离散集合中的信息熵Hn(X)就分解为两项，其中一项与划分精度 无关，趋于一个常量Hc(X)。而另一项，随着 0最终趋于一个无穷大的量。很显然这与取极限之前的离散熵差别很大，那么这种极限形式能否表达出信源平均不定度的概念吗？由于表达形式的不同，则它的物理意义也应有所不同。所以我们不能以离散熵的概念来理解上述表达式，特别是当某些离散熵的数学性质
8、不在继续保持的情况下，如：非负性、对称性、扩展性等。但值得庆幸，上式中将熵函数中最能反映信源的固有属性的数学性质如可加性、极值性和上凸性仍旧依然保持着。因此有可能上述表达式的某些部分仍能代表连续信源的某些物理属性。（但我们要深入讨论离散向连续逼近时，物理属性的变化。）3.2 连续变量的相对熵连续变量的相对熵 因为对于一个连续变量，它的取值有无穷多个，无论它取任何值，其随机事件所对应的不定度一定是无穷大量。而对熵来说，应是这个随机事件集合的平均值，既然每一个事件的自信息都是无穷大，则它的集合平均值也应是无穷大才对。又因为从绝对的观点来看，每一个连续信源的平均不定度都是无穷大，那么这个熵的价值也就
9、无意义了。但是再仔细分析一下，上式中只有H()项才与划分精度 有关,这说明只有此项能反映人为地利用离散模式向连续型逼近的近似程度。换句话说，这仅是强加上的人为因素，并不代表事物原有的客观属性。比如，对于同样概率分布的随机变量x，如果仅划分精度 不同时，可取 1，2代表两种划分精度，则我们所得到的熵的表达式：1212()()log()()()()log()()nRnRHXp xp x dxHHXp xp x dxH 3.2 连续变量的相对熵连续变量的相对熵 为什么说相对熵反映连续变量的客观存在的平均不定度？首先一个随机变量，当它的概率分布一旦确定，则它的不定性就该给定，而不能随划分精度的变化而变
10、化。第二，由于信息量的概念是不定度的解除量，如果在相同划分精度下，再讨论两者之差时,H()将会消失。所以我们可看到仅从Hc(X)上就可真正反映出信息的全部属性(包括非负性)。因此，我们只要相对熵的定义就足够了。同时我们也能给出两个连续变量的互信息问题：可见只有H()不同，因此我们说：能真正反映连续信源的客观属性的应该是第一项，而不是第二项。对于后者我们称之为绝对熵绝对熵(absolute entropy)；而对于前者我们称之为相对熵相对熵(differential entropy)。()()log()defcRHXp xp x dx where,R is the domain ofx.3.2
11、连续变量的相对熵连续变量的相对熵00()()1;()1;()1;()()()log()()()log()loglim()()()log()limlogxyxxycRRRnjjjjijjjjinnnR RdefHX Yp x dxq y dyp x y dxHX Yq yp x yp x yq yp x yp x yHX Yq y p x yp x y dxdy then:先先定定义义连连续续变变量量的的条条件件熵熵：()()cHX YH00(;)()()lim()lim()()()nnccI X YH XH X YHXHX YH XH X Ythen:3.2 连续变量的相对熵连续变量的相对熵
12、可见当两个连续变量之间的互信息，实际上就是两熵之差，经绝对熵的相互抵消后，就剩下相对熵之差了。所以相对熵则完全反映出信息的基本属性。所谓“相对”一词也是由此而来。注：相对熵的定义与离散信源的信息熵有着明显的差别，即这种相对熵仅代表连续变量的相对平均不定度。同理，也有如下的相对熵的定义：()()log()()()()log()xyxycRRcRRHXYp xyp xy dxdyHY Xp x p y xp y x dxdy ()(;)()log()()()()()()()()()xyR Rcccccccp xyI X Yp xydxdyp x p yHXHX YH YH Y XHXH YHXYa
13、nd 第三章第三章.连续信源的信息熵连续信源的信息熵 3.3 相对熵的性质相对熵的性质(The Properties of Differential Entropy)1.可加性可加性()()()()()()();()()cccccccccH XYH XH Y XH YH X YaH Y XH YH XnHdYX()()()()()()()log()()()log()()()()log()()()log()()()xyxyyxxycR RR RRRR Rccletp xyp x p y xp y p x yH XYp xyp xy dxdyp x p y xp x p y x dxdyp y x
14、 dyp xp x dxp x p y xp y x dxdyH XH Y X prooh:enft 13.3 相对熵的性质相对熵的性质()()()log()()()log()()()log()()()log()()()()()log()()log()()()()1xxyxyxyxyxyccRR RR RR RR RR RH XH X Yp xp x dxp y p x yp x y dxdyp x p y xp x dxdyp y p x yp x y dxdyp xp yp x p y xdxdyp x p y xdxdyp x yp y xp yp x p y x and)()()()(
15、)()()()()1 10 xyxyxyxyxyR RR RR RR RRRdxdyp y xp x p y x dxdyp x p y dxdyp xy dxdyp x dxp y dy ()()ccHXHX Y()()()()()()()()()()p xp xp yp xyp xyP x yp yp xp yP y xlog1log10 xxxxx where,3.3 相对熵的性质相对熵的性质2.()(;0.)cHXI X Y can be a negative;but,(;)()()()()()()()();(;)0(;)()()()()()()(;)ccccccccccccccI X
16、 YHXHX YHYHY XHX YHXHY XHYI X YI X YHXHYHXYHXYHXHYI X YandandThen:3.()()()cccHXYHXH Y4.()().cHXp xis a convexfunctionfor有此上凸性，则导致相对熵有最大熵定理。5.6.()()ccHxCHx()()logccHaxHxa证证明明略略，参参见见概概率率论论中中有有关关随随机机变变量量函函数数的的概概率率分分布布。第三章第三章.连续信源的信息熵连续信源的信息熵 3.4 几种常见随机变量的相对熵几种常见随机变量的相对熵(The Differential Entropy of some
17、 Random Variables)1.均匀分布下的相对熵:(The Differential Entropy of Random Variable and Vector with Uniform Distribution)1()0;11()loglog()1()0bcacaxbp xbaxaxbHXdxbabababaHX 1则，.Iftheprobability density isthen显显然然，当当即即相相对对熵熵不不具具备备非非负负性性。12,1()Nrrrxx xxp xbaIf且且每每个个分分量量间间相相互互独独立立，分分别别为为均均匀匀分分布布：2 2.3.4 几种常见随机变
18、量的相对熵几种常见随机变量的相对熵1111111121111()()011()log()()log()NNNNNrrNrrrrNrrrbbbcNNNaaarrrrrrNrrrxbabap xxbaH Xdxdxdxbababa Then:3.4 几种常见随机变量的相对熵几种常见随机变量的相对熵2.高斯分布下的相对熵:(The Differential Entropy of Random Variable and Vector with Normal Distribution)222221()()exp(,)22defxmp xxN mm normal or Gaussian distribut
19、ion density:where,is the mean andis variance.222222()()log()1()1()explogexp2222cH Xp xp x dxxmxmdxRandom Variable:1 1.2221()()log(log)()22xmp xdxep xdx 3.4 几种常见随机变量的相对熵几种常见随机变量的相对熵2222221()1()()explogexp2222cxmxmHXdx loglnlogloglogyyyeeyyeee22()1()()p x dxxmp xand又又则则 2222211log2(log)21log(2)log22ee
20、e 由此可见正态分布的相对熵仅与它的方差有关,而与它的均值m无关。这也是最简单的相对熵，是干扰最严重的随机变量高斯噪声源的数学特性。高斯信源不仅因为其数学描述简单，而且由于它的干扰最强，所以经常用它来作我们通信系统中干扰源的数学模型。3.4 几种常见随机变量的相对熵几种常见随机变量的相对熵 如果L维的正态随机变量组成一个随机矢量 ，设每一个变量的均值为mi,则如果能知道任何变量间的协方差；(covariance)我们就能唯一地确定这个随机矢量。12Lxx xx()(),1,2,defijiijjRExmxmi jLij1112121222111212R LRiLLijLLLLLLLLijijj
21、imRRRRRRRRRRRRRR where:and即即，给给定定和和的的条条件件下下，我我们们可可以以唯唯一一地地确确定定出出这这个个 维维的的正正态态矢矢量量。其其中中，协协方方差差矩矩阵阵为为：3.4 几种常见随机变量的相对熵几种常见随机变量的相对熵112211011()exp()()2(2)ijijijijdefijijijijLLLijiijjLijijRRRRrRrRp xr xmxmR 设设：为为对对称称矩矩阵阵的的行行列列式式，而而且且，则则有有的的可可逆逆矩矩阵阵存存在在，记记为为：;其其中中 为为元元素素的的代代数数余余因因子子。则则，正正态态矢矢量量的的概概率率密密度度就
22、就为为：按相对熵的定义就可推出L维正态矢量的相对熵：1()log(2)log22cLijLHXeR 如果各个分量之间相互独立，则R形成一对角线矩阵：2112222000000ijLLR 21:LllllRand3.4 几种常见随机变量的相对熵几种常见随机变量的相对熵122212()log 2()2LcLLLHXe 例31.求二维正态矢量的相对熵和两变量间的互信息。122222111222211221222,0()()cos.1cos1:ijLmmExmExmR is correlationlet:then:whereancoeffidcient22221121221221ijR 3.4 几种常
23、见随机变量的相对熵几种常见随机变量的相对熵根据根据1()log(2)log22cLijLHXeR 22212122221222212122221()log(2)log122111log(2)logloglog 1222111log(2)log(2)log 1222()()()1()log 1log 12ccdefH X XeeeeHXHXHH :where121212212()()()(;)(;)()log 1cccH X XH XH XI X XI X XH又又3.4 几种常见随机变量的相对熵几种常见随机变量的相对熵 可见二维正态矢量的相对熵，等于两个分量的相对熵之和与它们之间相关程度对熵的
24、损失量之差。现在进一步分析I(X1;X2)的物理意义：2x2x 1x121201,3,5,2(;(.)0kkxxI XXHwhenthenandare linear independenti.e.121200,1,22(;)()0kkxxI XXH这这说说明明相相关关性性引引起起熵熵的的减减少少，互互信信息息就就是是从从一一个个分分量量得得到到另另一一个个分分量量的的信信息息。wheni.e.thenandare linear dependent.3.4 几种常见随机变量的相对熵几种常见随机变量的相对熵 如果两个分量一一对应，则实际上是两个变量变成一个变量了。此刻硬要将一个连续量看成两个连续量
25、，必然要引入一个无穷大量才对。所以此时的互信息就是无穷大量。还因为互信息的定义式为：121210,2,4,().2;)(kkxxI XXH i.e.andare one-to-one mwhenthenapping0ijR 12112112(;)()()()()ccI XXH XH XXHXHXX可见互信息不仅是相对熵之差，而且也是连续熵之差。第三章第三章.连续信源的信息熵连续信源的信息熵 3.5 连续信源的最大熵定理连续信源的最大熵定理(Maximum Entropy Theorem of Continuous Source)在离散信源中也有最大熵问题，目的就是希望在离散信源中也有最大熵问题
26、，目的就是希望设计信源时使它具备最大发送信息的能力。从熵函设计信源时使它具备最大发送信息的能力。从熵函数的上凸性质看，它已具备最大值的充要条件，我数的上凸性质看，它已具备最大值的充要条件，我们所面临的问题就是如何把握最理想的概率分布。们所面临的问题就是如何把握最理想的概率分布。显然在离散信源中等概率将是最理性的条显然在离散信源中等概率将是最理性的条 件，件，在工程设计中将遵循这一原则。在工程设计中将遵循这一原则。请看请看习题习题4.2:3.5 连续信源的最大熵定理连续信源的最大熵定理 01234.2:411110,1248800011011010 110 111iiiuuuuuuv 习题i i
27、有有一一 个个符符号号的的消消息息集集合合,若若设设计计一一个个信信号号代代码码序序列列取取代代消消息息符符号号后后应应使使代代码码信信号号的的发发送送概概率率趋趋于于等等概概率率分分布布。v v0011223300;01;10;11;uvuvuvuv ：若若设设 以上是一种最简单的信号设计方案，但不是最优方案，以上是一种最简单的信号设计方案，但不是最优方案，因为它的效率不高。因为它的效率不高。这是属于定长编码这是属于定长编码 Fixed-length code所以简单。所以简单。3.5 连续信源的最大熵定理连续信源的最大熵定理412iiikpkk 表表示示平平均均每每一一个个消消息息符符号号
28、所所占占用用的的代代码码长长度度。如果设信源发出了N个消息符号，则此刻信源发送“0”的概率是多少？0101111(2)11248(0)161151(1)116162defNp vqNkp vqqq：则则此此信信源源没没有有达达到到满满负负荷荷，即即没没有有输输出出最最大大熵熵。如果我们按书中给出的代码设计，则情况就不同了。3.5 连续信源的最大熵定理连续信源的最大熵定理这是一种变长码字：Variable-length Code001122330;10;110;111;uvuvuvuv ：若若设设41010741117()12488(0)7241(1)12iiidefdefkp kNp vqN
29、kp vqqthen:利用算术平均法求出代码熵和利用集合平均所求的代码熵的结果比较：4122171()4()log174()loglog 21iiiiiibitsH UH VppkkH VqBcodebqitsBcode3.5 连续信源的最大熵定理连续信源的最大熵定理 当然也可直接求出发当然也可直接求出发“1”的概率以及相应的条件概率的概率以及相应的条件概率：123110110011()2()3()1(1)2(0,0)(00)(00)(0)(0)nnnnnN p up up uNp vqNNNkp vvpPP vvp vp 这里用这里用p(00)表示信源发出事件表示信源发出事件“00”的出现概
30、率，我们可的出现概率，我们可以以看到，只有事件看到，只有事件“u0u0”，“u1u0”，“u2u0”出现时，才有事出现时，才有事件件“00”出现的可能性。但是出现的可能性。但是P(00)的概率可以这样求吗？的概率可以这样求吗？001020(00)()()()pp u up u up u u？因为ui和vn分别属于不同的概率空间，统计概率或概率间的互换应有一个参考点。同样在统计时序列的排列顺序也是应要求一致，在一个公共的尺度下互换才为可行。211231lllllLuuuuv v vv v;假假定定:and3.5 连续信源的最大熵定理连续信源的最大熵定理00102000(00)1 1111 1()
31、()()12 24 28 2744nPvNN P u up u up u uNkN：事事件件的的个个数数所所以以序序列列中中代代码码个个数数 0010011(00)14(0 0)1(0)221(1 0)1(0 0)2(10)(0 1)(1)pPPpPPPpPPp:ThenandSimilarly12301111()()()()14882(10)744Np up up u upN k114(1 1)122P3.5 连续信源的最大熵定理连续信源的最大熵定理 如果考虑发码顺序是从右向左的方向如果考虑发码顺序是从右向左的方向，也同样能统计：，也同样能统计：0102031 11213222321()()
32、()()()()()()()(01)1 1111 1111 1117()()()12 4884 4888 88416774441(01)14(0 1)1(1)22N p u up u up u up u up u up u up u up u up u upNkpPp1(0)(1)2()()1p vp vH UH Vk即即满满载载信信息息码码。bit;B-code 在等概率的条件下，可使离散信源发送效率最大，这是最大熵定理在信号设计中的具体应用。这也是我们讨论连续信源的目的之一。3.5 连续信源的最大熵定理连续信源的最大熵定理 从相对熵的数学性质中已证明它有最大值，但是如果不考虑约束条件，在求
33、极大值是将有可能走向极端，即求出它的无穷大量。为此这与离散熵所不同，相对熵拥有不同条件下的最大熵。.The Maximum Entropy Theorem at Limited Peak Condition 即限峰功率条件下的最大熵定理限峰功率条件下的最大熵定理 所谓限峰条件：所谓限峰条件：,()1,baxa bbap x dxa b when:thenwhere,and,:所以限峰是指信号的幅度不能任意大，应属于有限的范围。(),()1(),bap xa bp x dxq xa b,：设设为为区区间间内内任任意意一一种种概概率率密密度度，则则又又设设为为区区间间内内的的均均匀匀分分布布密密度
34、度(uniform distribution)1,()0,xa bq xbaxa b3.5 连续信源的最大熵定理连续信源的最大熵定理 上式表明：在限峰的条件下，只有连续变量x处于均匀分布下，才能使相对熵达到最大，这就是限峰条件的最大熵定理及其证明。()()()log()()log()()()()log()()log()1()log()()1()bbcaabbaabbaaq xHXp xp x dxp xp xdxq xq xp xq x dxp xdxp xq xp x dxp xdxbap x log1zz log()()()log(),()bbaacbaq x dxp x dxbaHX q
35、 x3.5 连续信源的最大熵定理连续信源的最大熵定理 约束条件改为平均功率(指信源的输出功率)受限，这实际上在均值为零的信号x来说，就是方差 受限。即：.The Maximum Entropy Theorem at Limited-in-mean Power Condition.即限平均功率条件下的最大熵定理：限平均功率条件下的最大熵定理：222()()()1,xmp x dxPp x dxmxP；为为连连续续随随机机变变量量 的的均均值值为为它它的的方方差差，我我们们就就说说平平均均功功率率受受限限。Let:where:If,whenand22221()()exp22xmq xm;).(又又
36、设设：且且方方差差也也为为，均均值值为为的的正正态态分分布布密密度度 normal distribution density21,(),()log(2)2ccHX p xHX q xe Gaussian Entropy3.5 连续信源的最大熵定理连续信源的最大熵定理(),()()log()()log()()()()log()()log()cq xH X p xp xp x dxp xp xdxq xq xp xq x dxp xdxp x()()10()q xp xdxp x2221()()log(log)()22xmp xdxep xdx2222log1loglog 2()()log(2)2
37、22eep x x m dx21log(2),()2ceHX q x 所以对于一维随机变量而言，在方差受限下则相对熵在概率密度为正态分布时达到最大值。这就是为什么说高斯噪声源是干扰最严重的噪声源。3.5 连续信源的最大熵定理连续信源的最大熵定理 若若X X的取值为非负，且均值在限定为某一确定值，则的取值为非负，且均值在限定为某一确定值，则X X的分布的分布函数为指数分布时达到最大。即：函数为指数分布时达到最大。即：.The Maximum Entropy Theorem at Limited Mean Condition 即均值受限条件下的最大熵定理均值受限条件下的最大熵定理0000()()(
38、).1()0,)()()()1xxp x dxxq x dxq xq xexp xp x dxq x dx is the exponential distribution densityfunction,i.e.andAndis an anyprobability densityfunctioWhen:where,dn,an3.5 连续信源的最大熵定理连续信源的最大熵定理0020011,()()log()log1(log)(log)xxcxxHX q xq xq x dxeedxeedxxedx 1 00(log)1()xexedxE xxp x dxlog()e000000(),()()lo
39、g()()log()()()()log()()log()()()log()()1()cq xH X p xp xp x dxp xp xdxq xq xp xq x dxp xdxp xq xp xq x dxp xdxp x又又03.5 连续信源的最大熵定理连续信源的最大熵定理00000,()()log()()log()1()log1(log)()log()logloglog(),()cxcHX p xp xp x dxp xq x dxp xedxep xdxxp x dxeeHX q x 所以在均值受限的条件下，概率密度为负指数分布时相对熵达到最大。0,()()log()log()cHX
40、 p xp xp x dxe 即即：3.5 连续信源的最大熵定理连续信源的最大熵定理000000,()()log()()log()1()log1()loglog()loglog()loglog,()log,()cxccH X p xp xp x dxp xq x dxp xedxxp xdxep xdxexp x dxeH X p xeH X q x又又解法二：Q.E.D第三章.例题分析例题分析例例3-2.(习题习题4.18)已知随机变量x与y的联合概率密度为：2211()exp(1)222()()()(;)cccNp xyxxyyNSSNHXH YH Y XI X Y：、求求和和。题解题解：
41、因为只有二维正态随机矢量的联合概率密度才具有上式各项，因此试比较：(参见概率论书中135页公式)2222221122122211()()()()()exp22 12111()exp(1)222x ax a y by bp xyNp xyxxyyNSSN 所以我们可以利用待定系数的数学方法避开求积分的麻烦。2121222122221111111SNSSNSNSNNSNN 解解之之，得得 212()log 21log 2()log(2)()cNH XYee S SNe SNSN 第三章第三章.例题分析例题分析设待定系数方程组：设待定系数方程组：再利用高斯变量的相对熵中只与其方差有关的特点得到：可根
42、据二维正态熵的标准式，直接写出联合熵(书中197页)：2c12c211HXlog 2elog 2eS2211H(Y)log 2elog2e(S N)22第三章.例题分析例题分析当然你也可以利用我们上面给出的多维正态熵的公式求出：22222112121221221()log2log22(1)(1)21()log2loglog 222,cLcLHXeRRRHXYeRe SN ,thdeann2()()()1(2)log(2)log 2loglog 222cccH Y XHXYHXe NSe SNeSeNeS又又2(;)log1loglog(;)()()log2()log2ccNSNI X YSNN
43、I X YHYHY Xe SNeN ：根根据据or第三章.例题分析例题分析例题例题3-3.(习题习题4.17)设随机变量设随机变量x的概率密度为的概率密度为:(注：这是语声信号的数学模型注：这是语声信号的数学模型)()()()(;)111log2log2()log22211log2log()loglog222cccHXYHXH YI X YNSeSe SNNNSeS SNe SNN还还可可验验证证：1()2()xcp xexHX 求求：并并验验证证它它小小于于同同样样方方差差下下的的正正态态变变量量的的相相对对熵熵。and题解：因这是瑞利分布因这是瑞利分布 The Reyleigh Proba
44、bility density:()02,1xandxp xe 第三章.例题分析例题分析00201()()log()()log2()log2()log2log2(log)()2log(log)2log2xcxxHXp xp x dxp xedxp xdxp xedxe xp x dxexedx ：则则1020!1nxnxnx edxxedx2212(log)logee22223200122()2()2defxxxx p x dxxedxx edxP第三章.例题分析例题分析例题例题3-4.(习题习题4.19)连续变量x和y有联合概率密度为：22112(0,)()log2log(2)22ycyNPH
45、 YePe若若，则则：222221214()logloglog2211log(2)log(2)()22cceeeHXe PePHY23.142.722eeeQ.E.D.22222221()0()()()(;)cccxyRP xyRxyRHXHYHXYI X Y、和和试试求求：。22222000sincos;logsinlog 242ddd 提提示示：第三章.例题分析例题分析题解：题解：222222222222222222222220222212()()22()()log()log224loglog4log()log2yxRxRRxRcRRRRRRRp xp xy dydyRxRRHXp xp
46、x dxRxRxdxRRRxdxRxRxdxRRRRp x dxRxRR 220Rxdx 1xy R sincos(cos)sin0coscos 02yRxRdxd RRdRRR Let:then:and第三章.例题分析例题分析 222222020222222222004()loglog24logsinlogsin244logsinlogsinlog sin2RcRHXRxRxdxRRRRdRRR dd22022002loglog(1cos 2)log sin222loglog sincos 2log sin2RRdRdd 22220022sincos41sin1 cos1 cos2 2dd
47、201log()cos2 logsin(2)Rd20log sinlog 22d 第三章.例题分析例题分析2020201log()cos 2log sin(2)1log()log sin(sin 2)211sin 2log()log sinsin 2(sin)sin0RdRdRd=0202202sin coslog()(sin)sin211log()coslog()ln()22eRdRdRR 1()ln()2cHXR/Nat symbolbbbaaaudvuvvdu根根据据分分部部积积分分法法则则：211()()(;)ln(ln1)ln22()11()()()lnlnln22ccccccHY
48、XHYI X YRRHX YHXYHXHY XRRR第三章.例题分析例题分析根据概率函数的对称性，有：22222222222222221()()()ln2111()logloglog1(;)()()()2 lnlog2ln()ln1ln1lnlogcccxyRxyRcccp yRyHYHXRRHXYdxdyRdxdyRRRRI X YHYHXHXYRRRRee andNat/symbolQ.E.D第三章第三章.连续信源的信息熵连续信源的信息熵 3.63.6 平稳高斯随机过程的信息熵与互信息平稳高斯随机过程的信息熵与互信息 (The entropy and mutual information
49、for the stationary Gaussians stochastic process)当连续信源所发出的消息都是由一个个随机过程(stochastic process)所形成。如：语音信号 它不仅幅度上，而且在时间上也都是连续的，即分别属于一个无限的集合之中。假定这些随机过程均满足平稳性时,则我们所研究的对象就成为：平稳随机过程：平稳随机过程：(,)X t,Xt从频域上讲我们将可用从频域上讲我们将可用功率谱密度功率谱密度来描述这个随机过程。来描述这个随机过程。S从时域上我们可以由从时域上我们可以由自相关函数自相关函数 来描述。来描述。R3.63.6平稳高斯随机过程的信息熵与互信息平稳
50、高斯随机过程的信息熵与互信息 1,1iiN kii kjRE x xR Kx xNk j mmSR m e3.63.6平稳高斯随机过程的信息熵与互信息平稳高斯随机过程的信息熵与互信息结论结论：0cSdP 在平均功率受限的前提下：即在平均功率受限的前提下：即平稳的高斯随机过程的熵最大，且为：平稳的高斯随机过程的熵最大，且为：011log 2log22ccHx teSdS其中：为单边功率谱密度。3.3.6 6平稳高斯随机过程的信息熵与互信息平稳高斯随机过程的信息熵与互信息结论结论：如果如果 X(t)和和 Y(t)都是平稳的高斯随机过程都是平稳的高斯随机过程则：这两个随机过程间的互信息为：则：这两个
