1、信息论信息论电子信息工程学院电子信息工程学院n设离散信源设离散信源X X的概率空间为：的概率空间为：n信息熵是信源概率空间的一种特殊矩函数，这个函数的大小信息熵是信源概率空间的一种特殊矩函数，这个函数的大小与信源的消息数及其概率分布有关。与信源的消息数及其概率分布有关。n当信源消息集的个数当信源消息集的个数q q 给定时，信源的信息熵是概率分布给定时，信源的信息熵是概率分布P(x)P(x)的函数的函数, ,概概率分布用率分布用概概率矢量率矢量P P来表示来表示：1212( ( ), ( ), , ( )( , ,)qqPP a P aP ap pp12112,( )1( ),(),(),( )
2、qqiiqaaaXP aP aP aP aP x2.3 信息熵的基本性质信息熵的基本性质信息论信息论电子信息工程学院电子信息工程学院n这样，信息熵这样，信息熵 是概率矢量是概率矢量P P或它的分量或它的分量 的的 元函数元函数( (各分量各分量 满足满足 , ,所以独立变量所以独立变量只有只有 元元) )。一般式可写为：。一般式可写为：iqiiiqiippaPaPXH11log)(log)()(12( , ,)( )qH p ppH Pn 是概率矢量是概率矢量P P的函数，称为熵函数的函数，称为熵函数( )H P( )H X11qiiP1q12, ,qp pp1q2.3 信息熵的基本性质信息熵
3、的基本性质信息论信息论电子信息工程学院电子信息工程学院n熵函数也是一种特殊的函数，它的函数形式为：熵函数也是一种特殊的函数，它的函数形式为：121( )(,)logqqiiiH PH ppppp n它具有下列一些性质。它具有下列一些性质。l(1)(1)对称性对称性：当变量当变量 任意任意变换时，熵函变换时，熵函数的值不变，即：数的值不变，即：12, ,qp pp1223111(,)(,)(,)qqqqH p ppH p pp pH p pp2.3 信息熵的基本性质信息熵的基本性质信息论信息论电子信息工程学院电子信息工程学院n该性质表明：熵只与随机变量的总体结构有关，即与信源的总该性质表明：熵只
4、与随机变量的总体结构有关，即与信源的总体的统计特性有关。体的统计特性有关。123123123, , 1/3 1/6 1/21/6 1/2 1/31/3 1/2 1/6XaaaYaaaZbbbPPP n差别：信源差别：信源X X与与Y Y同一消息的概率不同，同一消息的概率不同，X X与与Z Z的具体信息不同，但的具体信息不同，但它们的信息熵相同，表示三个信源总的统计特性相同，它们的信它们的信息熵相同，表示三个信源总的统计特性相同，它们的信息数和总体结构是相同的。即：息数和总体结构是相同的。即：111111111(,)(,)(,)362623326HHH2.3 信息熵的基本性质信息熵的基本性质如：
5、如：信息论信息论电子信息工程学院电子信息工程学院l(2)确定性确定性：n因为在概率矢量因为在概率矢量 中，当分量中，当分量 时有时有 。而其余分量。而其余分量 12( , , , )qPp pp1iplog0iipp 00(),limlog0jijjppijppn该性质说明：信源虽然有不同的输出符号，但只有一个消息几该性质说明：信源虽然有不同的输出符号，但只有一个消息几乎必然出现，而其它符号则是几乎不可能出现，那么这个信源乎必然出现，而其它符号则是几乎不可能出现，那么这个信源是确知信源，其熵等于零是确知信源，其熵等于零。, , ,H 1 0H 1 0 0H 1 0 0002.3 信息熵的基本性
6、质信息熵的基本性质信息论信息论电子信息工程学院电子信息工程学院l(3)(3)非负性非负性：121( )(,)log0qqiiiH PH p pppp n该性质是非常明显的，因为随机变量该性质是非常明显的，因为随机变量X X的所有取值的概率的所有取值的概率分布满足分布满足 时时，熵是正值的，只有当随机变量是确，熵是正值的，只有当随机变量是确知量时，其熵等于零。知量时，其熵等于零。01ipn这种非负性对于离散信源而言是正确的，但对于连续信这种非负性对于离散信源而言是正确的，但对于连续信源来说这一性质就不一定存在。以后可以看到，在差熵源来说这一性质就不一定存在。以后可以看到，在差熵的概念下，可能出现
7、负值。的概念下，可能出现负值。2.3 信息熵的基本性质信息熵的基本性质信息论信息论电子信息工程学院电子信息工程学院l(4)(4)扩展性扩展性n因为：因为：n说明：信源的消息数增多时，若这些消息对应的概率很小说明：信源的消息数增多时，若这些消息对应的概率很小( (接近于零接近于零) )，则信源的熵不变。，则信源的熵不变。),.,(),.,(lim212110qqqqpppHpppH),(lim2110 qqpppHlog)log()(loglim110qiqqiipppp),(log211qqqiiipppHpp 2.3 信息熵的基本性质信息熵的基本性质信息论信息论电子信息工程学院电子信息工程学
8、院l(5)(5)可加性可加性：11niip11mjjp111nmijijp q ()( )( )H XYH XH Yn统计独立信源统计独立信源X X和和Y Y的的联合信源的熵联合信源的熵等于等于分别的熵之和分别的熵之和。n两个随机变量两个随机变量X X和和Y Y，相互独立，相互独立，X X概率分布为：概率分布为： , Y , Y的概率分布为的概率分布为 。12(,)nppp12(,)mq qq则：则：n根据熵函数表达式有：根据熵函数表达式有：2.3 信息熵的基本性质信息熵的基本性质信息论信息论电子信息工程学院电子信息工程学院1 11212121()(,)nmmmnnmH XYHp q p qp
9、 qp qp qp qp q1111loglognmnmijiijjijijp qpp qq 1111(log)(log)mnnmjiiijjjiijqpppqq故：故：1111()loglog(,)(,)nmiijjijnnmmH XYppqqHppHqq 11lognmijijijp qp q 2.3 信息熵的基本性质信息熵的基本性质信息论信息论电子信息工程学院电子信息工程学院n 可加性是熵函数的一个重要特性，正因为具有可加性，所可加性是熵函数的一个重要特性，正因为具有可加性，所 以可以证明熵函数的形式是唯一的，不可能有其他的形式存以可以证明熵函数的形式是唯一的，不可能有其他的形式存在。在
10、。l(6)(6)强可加性强可加性：()( )( |)H XYH XH Y Xn两个互相关联的信源两个互相关联的信源X X和和Y Y的联合信源的熵等于信源的联合信源的熵等于信源X X的熵加上信的熵加上信源源X X已知条件下信源已知条件下信源Y Y的条件熵。的条件熵。n设两个随机变量设两个随机变量X X和和Y Y，互相关联互相关联，X X概率分布为：概率分布为： Y Y的概率分布为的概率分布为 ：n其中其中 ： 叫叫条件概率条件概率，来描述，来描述彼此的关联。彼此的关联。 叫叫联合概率联合概率 2.3 信息熵的基本性质信息熵的基本性质(|)ijjipPYy Xx() (|)()i ijijiijp
11、pPX x PY y X xPX xY y12(,)nppp12(,)mq qq信息论信息论电子信息工程学院电子信息工程学院111log(log)nnmiiiijijiijppppp 12121(,)(,)nnnimiiimiHpppp Hppp2.3 信息熵的基本性质信息熵的基本性质1111loglognmnmiijiiijijijijp ppp pp 1111()loglognmnmijiiiijijijijpppppp 11()lognmiijii jijHXYp pp p n 证明：证明：信息论信息论电子信息工程学院电子信息工程学院n 式中右边第一项是信源式中右边第一项是信源 的熵的熵
12、 。n 第二项中第二项中121(, ,)log( |)mmiiimijijijHp ppppH Y Xxn 所以，熵函数所以，熵函数 就是就是 和和 的联合信源的联合熵的联合信源的联合熵 。nmH()H XYXY2.3 信息熵的基本性质信息熵的基本性质( )HXX 它表示已知信源它表示已知信源 取值取值 下，信源下，信源 选取一个值所提供选取一个值所提供的平均信息量。此量对的平均信息量。此量对 取统计平均值，表示在信源取统计平均值，表示在信源 输出输出一个符号的条件下，信源一个符号的条件下，信源 再输出一个符号所提供的信息量，再输出一个符号所提供的信息量，记作记作 , , 称为称为条件熵条件熵
13、 。( |)H Y XXiXYXYX信息论信息论电子信息工程学院电子信息工程学院n 因此，强可加性式可写成：因此，强可加性式可写成：()()(|)H XYH XH Y Xn显然，可加性是强可加性的特殊情况，当信源显然，可加性是强可加性的特殊情况，当信源 和和 统计独立时，其满足：统计独立时，其满足：(|)()jijP YyXxP YyXY2.3 信息熵的基本性质信息熵的基本性质jijqp n可得：可得：()( )( )H XYH XH Y信息论信息论电子信息工程学院电子信息工程学院l(7)(7)极值性极值性121 11( , ,)( , , , )logqH p ppHqq qqn此性质表明：在离散信源情况下，对于具有此性质表明：在离散信源情况下，对于具有 个符号的离个符号的离散信源，只有当它们等可能出现时，信源熵才能达到最大散信源，只有当它们等可能出现时，信源熵才能达到最大值。即表明等概率分布信源的平均不确定性最大，我们称值。即表明等概率分布信源的平均不确定性最大，我们称该结论为该结论为最大离散熵定理最大离散熵定理。q2.3 信息熵的基本性质信息熵的基本性质
