信息论导论-第2章课件.ppt

1、第2章 离散信源及其信息熵武刚武刚2012年年3月月信息论导论信息论导论信息论导论-第第2章，武刚章，武刚2复习 n信息的概念信息的概念n什么是信息？什么是信息？n信息论的研究内容信息论的研究内容n香农信息论香农信息论n单符号离散信源单符号离散信源n自信息量：比特、奈特、笛特自信息量：比特、奈特、笛特信息论导论信息论导论-第第2章，武刚章，武刚3本章的两个主要问题本章的两个主要问题信息论导论信息论导论-第第2章，武刚章，武刚4提纲提纲信息论导论信息论导论-第第2章，武刚章，武刚5一、自信息量一、自信息量信息论导论信息论导论-第第2章，武刚章，武刚6一、自信息量：一、自信息量：单符号信源模型单符

2、号信源模型(1)126111()666XP X1234()()()()1111()2488xxxxXP X晴阴雨雪信息论导论信息论导论-第第2章，武刚章，武刚7一、自信息量：一、自信息量：单符号信源模型单符号信源模型(2)1212()()()()nnxxxXP xP xP xP X1,0()1,1,2,()1niiiP xinP x其中且信息论导论信息论导论-第第2章，武刚章，武刚8一、自信息量一、自信息量:定义定义信息论导论信息论导论-第第2章，武刚章，武刚9一、自信息量：定义一、自信息量：定义(1)信息论导论信息论导论-第第2章，武刚章，武刚10一、自信息量：定义一、自信息量：定义(1)自

3、信息量的定义：自信息量的定义：()log()ixiI xP x 信息论导论信息论导论-第第2章，武刚章，武刚11一、自信息量一、自信息量2()log()iiI xP x 22( )0,1log( )(,0( )log( )0,)iiiiP xP xI xP x 故10logxP(x)P(x)信息论导论信息论导论-第第2章，武刚章，武刚12一、自信息量一、自信息量n证明：证明：n本课件中定义本课件中定义222()0,1() log()()()loglogln()0()()iiiiiiiiP xdI xdP xdP xdP xedeP xdP xP x 2()log ()lb信息论导论信息论导论-

4、第第2章，武刚章，武刚13一、自信息量一、自信息量1(1)(1)62.585()6IlbPlblbbit 126111()666XP X(2)(3)(4)(5)(6)(1)2.585()IIIIIIbit同理，信息论导论信息论导论-第第2章，武刚章，武刚14一、自信息量一、自信息量1234()()()()1111()2488xxxxXP X晴阴雨雪11()()(1/2)21()I xlbP xlblbbit 22()()(1/4)42()I xlbP xlblbbit 33()()(1/8)83()I xlbP xlblbbit 44()()(1/8)83()I xlbP xlblbbit 信

5、息论导论信息论导论-第第2章，武刚章，武刚15互信息量互信息量(简述简述)1、互信息量的定义、互信息量的定义2、互信息量的性质、互信息量的性质信息论导论信息论导论-第第2章，武刚章，武刚16互信息量：定义互信息量：定义n两个随机事件两个随机事件X和和Y，分别取值于信源、信，分别取值于信源、信宿发出的离散消息集合宿发出的离散消息集合n信源信源X的数学模型的数学模型n信宿信宿Y的数学模型的数学模型12121,(),(),(),(),()0()1,()1ininniiiaaaap ap ap ap aPp ap aXX信源X有扰信道信宿Y干扰源a1a2a3an12121,( ),(),( ),(),

6、( )0()1,()1imimnjjjbbbbp bp bp bp bPp bp bYYb1b2b3bm后验概率：后验概率：P(ai/bj)先验概率：先验概率：P(ai)信息论导论信息论导论-第第2章，武刚章，武刚17互信息量互信息量n例例2.1.2, 根据天气气象信源模型，观测得到的信根据天气气象信源模型，观测得到的信息是息是“今天不是晴天今天不是晴天(y1)”n问各消息与问各消息与y1的互信息量的互信息量1234()()()()1111()2488xxxxXP X晴阴雨雪11213141(/), (/), (/), (/)p xyp xyp xyp xy0, 1/ 2, 1/ 4, 1/

7、4112212312412( ;)log 01/ 2(;)log1()1/ 41/ 4(;)log1()1/81/ 4(;)log1()1/8I x yI xybitI xybitp xybit 信息论导论信息论导论-第第2章，武刚章，武刚18互信息量与自信息量的关系互信息量与自信息量的关系nI(x2; y1)与与I(x2)及及I(x2/y1) nI(x2; y1)=I(x2)-I(x2/y1)nI(xi; yj)=I(xi)-I(xi/yj)n I(yj; xi)=?互信息量等于自信息量减去条件自信息量互信息量等于自信息量减去条件自信息量互信息量的内容留待第互信息量的内容留待第4 4章后续讨

8、论章后续讨论信息论导论信息论导论-第第2章，武刚章，武刚19本章内容提纲本章内容提纲信息论导论信息论导论-第第2章，武刚章，武刚20二、单符号离散信源的信息熵二、单符号离散信源的信息熵自信息量：一个单符号离散信源发出各种消自信息量：一个单符号离散信源发出各种消息所包含的信息量息所包含的信息量, , 问题：从该信源的问题：从该信源的整体整体出发，它的信息量又应该如何度量？出发，它的信息量又应该如何度量？1 1、单符号离散信源的信息熵、单符号离散信源的信息熵如果将如果将离散信源所有自信息量的数学期望离散信源所有自信息量的数学期望用用H(X)来表示并称其为信源的信息熵，也叫来表示并称其为信源的信息熵

9、，也叫香农熵香农熵，信，信息熵的定义为：息熵的定义为：11() ()() ()()()nniiiiiiiH XE I xP x I xP x lbP x :n 信源符号的个数信息论导论信息论导论-第第2章，武刚章，武刚21二、单符号离散信源的信息熵二、单符号离散信源的信息熵1( )0,1, ( )0,)()( ) ( )0,)iiniiiP xI xH XP x I x1()( )( )niiiH XP x lbP x 信息论导论信息论导论-第第2章，武刚章，武刚22二、单符号离散信源的信息熵二、单符号离散信源的信息熵2()()logH XlbnH Xn，即1()()1niiH XP x在限制

10、下的条件极值1()( ) 10()1,2,niikH XP xP xkn令信息论导论信息论导论-第第2章，武刚章，武刚23二、单符号离散信源的信息熵二、单符号离散信源的信息熵11( )( )( ) 1()()0, 1,2,nniiiiikkP x lbP xP xP xlbelbP xkn 即2()()1,2,()kkklbP xlbeP xeknkP x得到， 对任意的 ，均为相同的数值12( )121(),1,2,niikP xneP xknen又111222( )( )()()()()().()().()()()ln()()log()()()()ln2()niiikkknnkkkkkkk

11、kP x lbP xP xP x lbP xP x lbP xP x lbP xP x lbP xP xP xP xP xP xP xP xlbelbP x 信息论导论信息论导论-第第2章，武刚章，武刚24二、单符号离散信源的信息熵二、单符号离散信源的信息熵max1111()( )( )nniiiiH XP x lbP xlblbnnn ()H Xlbn2()logH Xlbnn信息论导论信息论导论-第第2章，武刚章，武刚25信源熵的其他性质信源熵的其他性质n扩展性扩展性n随机变量中某个取值的概率趋于零时，两随机变量中某个取值的概率趋于零时，两种情形种情形(有、无这个变量有、无这个变量)的熵相

12、同的熵相同n确定性确定性n只要一个变量取值的概率为只要一个变量取值的概率为1，则熵为零，则熵为零n可加性可加性n极值性极值性n多变量情形（后续讨论）多变量情形（后续讨论）信息论导论信息论导论-第第2章，武刚章，武刚26二、单符号离散信源的信息熵二、单符号离散信源的信息熵61()( )( )11662.585(/)66iH XP i lbP ilblbbit symbol 126111()666XP X信息论导论信息论导论-第第2章，武刚章，武刚27二、单符号离散信源的信息熵二、单符号离散信源的信息熵1234()()()()1111()2488xxxxXP X晴阴雨雪41()()()111111

13、()()()()()()2224488111111()2()4() 8()()2() 32482441.75(/)iiiH XP x lbP xlblblblblblbbit symbol 信息论导论信息论导论-第第2章，武刚章，武刚28复习复习n自信息量自信息量n单符号离散信源的信息熵单符号离散信源的信息熵n最大熵定理的证明及含义最大熵定理的证明及含义信息论导论信息论导论-第第2章，武刚章，武刚29二、单符号离散信源的信息熵二、单符号离散信源的信息熵10()( )( )(1) (1)( )iH XP i lbP iplbpp lbpH p 01()1XP Xpp信息论导论信息论导论-第第2章

14、，武刚章，武刚30二、单符号离散信源的信息熵二、单符号离散信源的信息熵n信源熵的三种物理含义信源熵的三种物理含义n信源熵信源熵H(X)表示信源输出表示信源输出后后，平均平均每个离每个离散消息所提供的信息量；散消息所提供的信息量；n信源熵信源熵H(X)表示信源输出表示信源输出前前，信源的，信源的平均平均不确定度；不确定度；n信源熵信源熵H(X)反映了变量反映了变量X的的随机性随机性信息论导论信息论导论-第第2章，武刚章，武刚31n主观价值与主观意义主观价值与主观意义n香农定义的熵未考虑人的主观因素，对不同观香农定义的熵未考虑人的主观因素，对不同观测、接收信息的人，得到不同的信息熵测、接收信息的人

15、，得到不同的信息熵n引入重量空间到信源的模型引入重量空间到信源的模型n性质性质n非负性、连续性、对称性、均匀性、等重性、非负性、连续性、对称性、均匀性、等重性、确定性、非容性、扩展性、线性叠加性、加权确定性、非容性、扩展性、线性叠加性、加权熵的最大值熵的最大值加权熵加权熵121211 () () ()()()nnnaaaXp ap ap aP XW X信息论导论信息论导论-第第2章，武刚章，武刚32平均互信息量平均互信息量n留待第留待第4章讨论章讨论信息论导论信息论导论-第第2章，武刚章，武刚33本章内容提纲本章内容提纲信息论导论信息论导论-第第2章，武刚章，武刚34信息论导论信息论导论-第第

16、2章，武刚章，武刚3512X X 12 ,1,2,knXx xxk()(),1,2,1,2,klP XP Xkl信息论导论信息论导论-第第2章，武刚章，武刚3612X X ()()klP XP X信息论导论信息论导论-第第2章，武刚章，武刚3711()()()()klkkllP XP XP X XP X X信息论导论信息论导论- -第第2 2章，武刚章，武刚3838111111()()()()()()klkkllkkkNlllNP XP XP X XP X XP X XXP X XX12NX XX信息论导论信息论导论-第第2章，武刚章，武刚3912121212()()()()NNNnNnaaa

17、X XXP aP aP aP X XX1212, , ,1,2, NiiiiNax xxi iin其中12()NP X XX12121121()()() (/)(/)NNNiiiiiiiiiiiP aP x xxP xP xxP xx xx1()1NniiP a且信息论导论信息论导论-第第2章，武刚章，武刚402212121212()()()()nnaaaX XP aP aP aP X X2121()()()niiiH X XP a lbP a 信息论导论信息论导论-第第2章，武刚章，武刚412121()()()niiiH X XP a lbP a 12121212121121111()()(

18、)() (/)nniiiiiinniiiiiiiP x xlbP x xP x xlbP xP xx 121122112121111()()()(/)nnnniiiiiiiiiiiP x xlbP xP x xlbP xx 信息论导论信息论导论-第第2章，武刚章，武刚42112122112121111()()()(/)nnnniiiiiiiiiiilbP xP x xP x xlbP xx 111221112111()()()(/)nnniiiiiiiiiP x lbP xP x xlbP xx 121()(/)H XH XX12121()()(/)H X XH XH XX信息论导论信息论导论

19、-第第2章，武刚章，武刚43122112212122121221212111111(/)()()(/)()()()()(/)nnnniiiiiiiiiiinniiiiiiiH XXH XP x x lbP xxP x x lbP xP xP x x lbP xx 121212()()()()H X XH X XH XH X想知道的上界？12121()()(/)H X XH XH XX信息论导论信息论导论-第第2章，武刚章，武刚44212122111()()ln(/)nniiiiiiiP xlbeP x xP xxln1xx利用不等式，上式212122112121212111111()()1(/

20、)() ()()1 10nniiiiiiinnnniiiiiiiiP xlbeP x xP xxlbeP xP xP x xlbe信息论导论信息论导论-第第2章，武刚章，武刚4512121121()()(/)()()2()H X XH XH XXH XH XH X故2121211()()()2HX XH X XH X212(/)()H XXH X信息论导论信息论导论-第第2章，武刚章，武刚461()1/4,4/9,11/36P X12123, ,XXx xx信息论导论信息论导论-第第2章，武刚章，武刚47111311()()()114411111.542(/)44993636iiiH XP x

21、 lbP xlblblbbit symbol 解：12211212121123321113311(/)()(/)() (/)(/)iiiiiiiiiiiiiH XXP x xlbP xxP xP xx lbP xx 信息论导论信息论导论-第第2章，武刚章，武刚481 771 224 114 334 114 994 999 889 449 8811 2211 99361111361111lblblblblblblb 771211131136918918834188121918114110.870(/)lblblblblblblbbit symbol 信息论导论信息论导论-第第2章，武刚章，武刚4

22、912121()()(/)1.5420.8702.412(/)H X XH XH XXbit symbol2121211()()2.412221.206(/)HX XH X Xbit symbol信息论导论信息论导论-第第2章，武刚章，武刚50121()()()()NH XH XH XNH X121211()()()NNNHX XXH X XXH XN12lim()/NNHH X XXN121lim(/)NNNHH XX XX信息论导论信息论导论-第第2章，武刚章，武刚51信息论导论信息论导论-第第2章，武刚章，武刚5212121212()()()()NNNnNnaaaX XXP aP aP

23、aP X XX1212, , ,1,2, NiiiiNax xxi iin其中12121121()()() (/)(/)NNNiiiiiiiiiiiP aP x xxP xP xxP xx xx信息论导论信息论导论-第第2章，武刚章，武刚531212112112()()() (/)(/)() ()()NNNNiiiiiiiiiiiiiiP aP x xxP xP xxP xx xxP xP xP x信息论导论信息论导论-第第2章，武刚章，武刚541212()()()()NNNnNnaaaXP aP aP aP X1212, , ,1,2, NiiiiNax xxi iin其中1212()()(

24、) ()()NNiiiiiiiP aP x xxP xP xP x信息论导论信息论导论-第第2章，武刚章，武刚551()1NniiP a且1()()()NnNiiiH XP a lbP a 121212121212111111()()() ()()() ()()NNNNNNnnniiiiiiiiinnniiiiiiiiiP x xxlbP x xxP x P xP xlbP x P xP x 信息论导论信息论导论-第第2章，武刚章，武刚5612112111() ()()()NNnnniiiiiiiP xP xP xlbP x 122121212111111() ()()()() ()()()N

25、NNNNnnniiiiiiinnniiiiiiiP x P xP xlbP xP x P xP xlbP x LLLLL信息论导论信息论导论-第第2章，武刚章，武刚57112212111()()()()()()NNNnniiiiiiniiiP x lbP xP x lbP xP xlbP xL121()()()()NH XH XH XNH X11()()()NNNHXH XH XN111lim()lim()()NNNHH XH XH XN1()()NH XNH X信息论导论信息论导论-第第2章，武刚章，武刚58123()1/21/41/4XxxxP X111311()()()(1/2) (1/

26、2)(1/4) (1/4)(1/4) (1/4)1.5(/)iiiH XP x lbP xlblblbbit symbol 解：21()2()2 1.53(/)H XH Xbit symbol221()()1.5(/)HXH Xbit symbol信息论导论信息论导论-第第2章，武刚章，武刚59信息论导论信息论导论-第第2章，武刚章，武刚60111211212112/( )()()(/)mmmmnmmnaaaXX XXP aP aP aP XX XX112121,/, , ,1,2, mmiiiiimaxx xxi iin其中112()(/)mmiiiiiP aP xx xx11211(/)1

27、mmmniiiiiP xx xx且信息论导论信息论导论-第第2章，武刚章，武刚611mmS S121212 ,1,2, ,1,2,mmmniiiimmSe eeex xxini iin其中231112231 ,1,2, ,1,2,mmmnjiiimmSe eeex xxjni iin信息论导论信息论导论-第第2章，武刚章，武刚621121231(/)(/)(/)(/)mmmmiiiiiiiiiijiP xx xxP xeP x xxeP ee由于112111112111/(/)(/)(/) (/)(/)mmmmmmmmmmnnnnmmnnnne eeeeeeeSSP e eP eeP eeP

28、eeP SS1(/)1njijP ee且信息论导论信息论导论-第第2章，武刚章，武刚63312312/(/)XX XP XX X0/00 1/000/01 1/01 0/10 1/100/11 1/110.80.20.50.50.50.50.20.8信息论导论信息论导论-第第2章，武刚章，武刚64121(1/00)(1/)(01/00)(/)0.2PPePP ee232(0/01)(0/)(10/01)(/)0.5PPePP ee242(1/01)(1/)(11/01)(/)0.5PPePP ee111(0/00)(0/)(00/00)(/)0.8PPePP ee信息论导论信息论导论-第第2章

29、，武刚章，武刚65323(1/10)(1/)(01/10)(/)0.5PPePP ee434(0/11)(0/)(10/11)(/)0.2PPePP ee444(1/11)(1/)(11/11)(/)0.8PPePP ee313(0/10)(0/)(00/10)(/)0.5PPePP ee信息论导论信息论导论-第第2章，武刚章，武刚66121112lim(/)(/)NNNmmHH XX XXH XX XX12111212111()(/)mmmNnnniiiiiiiiiiP x xxlbP xx xx 1211212112111() (/)(/)mmmNmmnnniiiiiiiiiiiiiiP

30、x xxP xx xxlbP xx xx 信息论导论信息论导论-第第2章，武刚章，武刚6712112()( )(/)(/)mmmiiiiiiiijiP x xxP eP xx xxP ee注意到故上式11( ) (/)(/)mmnnijijiijHP e P ee lbP ee 111( ) (/)(/)mmnnmijijiijHHP e P ee lbP ee 信息论导论信息论导论-第第2章，武刚章，武刚681()( ) (/)1,2,mnmjijiiP eP e P eejn1()0,()1mnjjjP eP e其中信息论导论信息论导论-第第2章，武刚章，武刚691111212313414

31、13( )( ) (/)() (/)() (/)() (/)0.8 ( )0.5 ()P eP e P eeP e P eeP e P eeP e P eeP eP e信息论导论信息论导论-第第2章，武刚章，武刚70212122232342413()( ) (/)() (/)() (/)() (/)0.2 ( )0.5 ()P eP e P eeP e P eeP e P eeP e P eeP eP e313123233343424()( ) (/)() (/)() (/)() (/)0.5 ()0.2 ()P eP e P eeP e P eeP e P eeP e P eeP eP e信

32、息论导论信息论导论-第第2章，武刚章，武刚71414124234344424()( ) (/)() (/)() (/)() (/)0.5 ()0.8 ()P eP e P eeP e P eeP e P eeP e P eeP eP e13123234240.2 ( )0.5 ()00.2 ( )()0.5 ()00.5 ()()0.2 ()00.5 ()0.2 ()0P eP eP eP eP eP eP eP eP eP e信息论导论信息论导论-第第2章，武刚章，武刚7214235( )()142()()14P eP eP eP e信息论导论信息论导论-第第2章，武刚章，武刚73442 111( ) (/)(/)520.8 0.80.2 0.20.5 0.50.5 0.51414250.5 0.50.5 0.50.2 0.20.8 0.814140.8(/)ijijiijHHP e P ee lbP eelblblblblblblblbbit symbol