1、电气与信息工程学院电气与信息工程学院第第4 4讲讲 信息的定量测度信息的定量测度2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论Shannon指出：通信工程的基本任务，是在噪声干扰下尽可能准指出：通信工程的基本任务，是在噪声干扰下尽可能准确地复制从发端传来的消息波形，而与消息的内容和价值无关。确地复制从发端传来的消息波形，而与消息的内容和价值无关。4.1 概率语法信息测度概率语法信息测度Shannon概率熵概率熵Shannon注意到通信问题的随机性质，他指出：一个实际的消息注意到通信问题的随机性质，他指出：一个实际的消息是从可能消息的集合中随机选择出来
2、的，而选择消息的发信者又是从可能消息的集合中随机选择出来的，而选择消息的发信者又是任意的，因此这种选择就具有随机性，是一种大量重复发生的是任意的，因此这种选择就具有随机性，是一种大量重复发生的统计现象。统计现象。Shannon等人还注意到，通信的发生是以通信者具有不定性为前等人还注意到，通信的发生是以通信者具有不定性为前提的，而通信的作用和结果则是消除这种不定性。提的，而通信的作用和结果则是消除这种不定性。2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论既既然信息是用来来消除不定性的东东西，那么么信息的数数量就可以用被消除掉的不定性的大小来来表示。这种
3、这种不定性是由随随机性引起的，因此可以用概概率论论方法来来描述。这这就是Shannon信息度量方法的基本思想。4.1 概率语法信息测度概率语法信息测度Shannon概率熵概率熵 假设有随机事件的集合假设有随机事件的集合x1，x2，xN，它们的出现概率分别为它们的出现概率分别为P1，P2，PN。，。，满足下述条件：满足下述条件：0pi1 i=1,N，首先找出一种测度来度量事件选择中含有多少首先找出一种测度来度量事件选择中含有多少“选择的可能性选择的可能性”，或者度量选择的结果具有多大的不确定性。显然，当所收到的信或者度量选择的结果具有多大的不确定性。显然，当所收到的信息量恰好使这个不定性全部消除
4、时，所收到的信息的量就认为等息量恰好使这个不定性全部消除时，所收到的信息的量就认为等于这个所消除掉的不定性的数量。于这个所消除掉的不定性的数量。11NiiP2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论以符号号H(p1，pN)来来表示这个这个不定性的测测度，也就是说说，不定性测测度必然是概概率分布(p1，pN)的函数数，其具体的函数数形式则则有待确定。4.1 概率语法信息测度概率语法信息测度Shannon概率熵概率熵为了确定为了确定H（p1，pN）的具体形式，应当考虑一些合理的约的具体形式，应当考虑一些合理的约束。对此束。对此Shannon提出了如下
5、三个基本条件：提出了如下三个基本条件：（1）H应当是对应当是对pi（i=1，N）连续的函数。连续的函数。（2）如果所有的）如果所有的pi相等，即相等，即 ,，N 那么那么H应是应是N的的单调增函数。单调增函数。（3）如果选择分为相继的两步，那么原先的）如果选择分为相继的两步，那么原先的H应等于分步选择的各应等于分步选择的各个个H值的加权和。值的加权和。1,1iNpi2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论条件（条件（1）和（）和（2）显然合理；条件（）显然合理；条件（3）的含义可以解释如）的含义可以解释如下：设有三个事件下：设有三个事件x1，x
6、2和和x3，它们的出现概率为它们的出现概率为p1=1/2,p2=1/3和和p3=1/6，如图所示。如图所示。4.1 概率语法信息测度概率语法信息测度Shannon概率熵概率熵2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论图图（a）是不分步选择选择的情况况，图图（b）是分两两步选择选择的情况况。显显然，从从最后的结结果来来看，分步与与否并并不影响这个响这个事件集的不定性，因为它们为它们的概概率空间间完全相同。于是，人们们自然希望能满满足这样这样的关关系：31,322121,2161,31,21HHH这无疑也是合理的。这无疑也是合理的。4.1 概率语法信
7、息测度概率语法信息测度Shannon概率熵概率熵2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论定理3.1.1 满满足条条件（1）、（）、（2）和（）和（3）的不定性度量可用且仅）的不定性度量可用且仅可用下式表示：可用下式表示：式中式中K为正常数为正常数.NiiiNppKppH11log),(4.1 概率语法信息测度概率语法信息测度Shannon概率熵概率熵 用等概率选择的情况验证，令用等概率选择的情况验证，令由条件（由条件（3）有）有)(1,1NANNH)()(1,111,11,1)(1NAMANNHMMMHMNMNHMNAMi2电气与信息工程学院电
8、气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论因而 一般地有一般地有)(2)(2NANA)()(tAtA4.1 概率语法信息测度概率语法信息测度Shannon概率熵概率熵对于给定的对于给定的，总可以找到适当的总可以找到适当的，使满足关系：，使满足关系：对上式取对数，并以对上式取对数，并以logS除之，则有除之，则有 1StS1loglogSt2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论另一方面，由条条件（2）及上述公式可得上式除以A(S)，则则得 )()1()()(SAtASA1)()(SAtA4.1 概率语法信息测度概率语法
9、信息测度Shannon概率熵概率熵可以得出可以得出 1loglog)()(StSAtA2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论式中是任意小的正数数。于是有 A(t)=Klogt根据条条件（2），K必须为须为正数数。若取若取足够大，则可以写为足够大，则可以写为StSAtAloglog)()(4.1 概率语法信息测度概率语法信息测度Shannon概率熵概率熵对于非等概率事件，经适当变换，可以看做等概率事件进对于非等概率事件，经适当变换，可以看做等概率事件进行分析，证明略。行分析，证明略。2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量
10、测度信息科学导论信息科学导论如前所说，信息是用以消除不定性的东西。如果以如前所说，信息是用以消除不定性的东西。如果以I I(p p1 1，PnPn)来表示为消除不定性来表示为消除不定性H H(p p1 1，p pN N)所需要的信息量，则有所需要的信息量，则有I I(p p,p pN N)=)=H H(p p1 1,p pN N)-0=)-0=H H(p(p1 1,p pN N)4.1 概率语法信息测度概率语法信息测度所以，从数量上说，所以，从数量上说，H H（p p1 1，p pN N）既可以看作是一个随机试验既可以看作是一个随机试验所具有的不定性，也可以看作是为消除这个不定性所需要的信息所
11、具有的不定性，也可以看作是为消除这个不定性所需要的信息量。量。2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论为了确定信息量的单位，考察一个标准的二中择一试验，即具有为了确定信息量的单位，考察一个标准的二中择一试验，即具有两种可能结果且两种结果出现的概率相等的试验。两种可能结果且两种结果出现的概率相等的试验。21log2121log2121,21KH4.1 概率语法信息测度概率语法信息测度取对数底为取对数底为2，令所得的，令所得的 =1，则得常数，则得常数K=1。于是，上式于是，上式变为变为21,21HiNiiNppppHlog),(112电气与信息工
12、程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论当对数底为当对数底为2时，信息单位称为二进单位，也叫比特（时，信息单位称为二进单位，也叫比特（bit，Binary Digit的缩写）；当对数底为的缩写）；当对数底为e时，则称自然单位，也叫奈特时，则称自然单位，也叫奈特（nat，Natural Digit的缩写）；当底取为的缩写）；当底取为10时，称为迪特（时，称为迪特（dit，Decimal Digit的缩写），等等。的缩写），等等。4.1 概率语法信息测度概率语法信息测度尽管单位不同，它们之间的转换是直接而简单的。需要注意的是，尽管单位不同，它们之间的转换是直接而
13、简单的。需要注意的是，式中当某个式中当某个Pi=0时，规定时，规定0 log 0=02电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论另外，公式也可表示为另外，公式也可表示为 式中式中NiiiNiiiNiiiNpIpphpppppH1111)()()log(),()(log)(iiiphppI4.1 概率语法信息测度概率语法信息测度可以理解为具有出现概率可以理解为具有出现概率Pi的单个事件的不定性，或为消除这的单个事件的不定性，或为消除这个不定性所需要的信息量。而个不定性所需要的信息量。而H(p1，pN)则是具有概率分则是具有概率分布布p1，pN的事件集
14、合的平均不定性，或为消除这个不定性的事件集合的平均不定性，或为消除这个不定性所需要的平均信息量。所需要的平均信息量。2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论举例举例 假设一条电线上串联了假设一条电线上串联了8 8个灯泡个灯泡x1,x2,x1,x2,x8,x8，这，这8 8个灯泡个灯泡损坏的可能性是等概率的，现假设损坏的可能性是等概率的，现假设8 8个灯泡中有一个也只有个灯泡中有一个也只有一个灯泡已损坏，致死串联的灯泡都不能点亮，请求：为一个灯泡已损坏，致死串联的灯泡都不能点亮，请求：为检查出哪个灯泡损坏所需的信息量？检查出哪个灯泡损坏所需的信息
15、量？4.1 概率语法信息测度概率语法信息测度38log81log81)log(),(8111iNiiiNppppH2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论ADeLuca和和STermin曾在曾在1972年提出模糊熵的概念及其表达年提出模糊熵的概念及其表达式，并建议以这个表达式来具体计算模糊集合的不定性；遗憾的式，并建议以这个表达式来具体计算模糊集合的不定性；遗憾的是，是，DeLuca和和Termini的文章并没有给出严格的数学证明，只是的文章并没有给出严格的数学证明，只是给出了如下的思路。给出了如下的思路。4.2 模糊语法信息测度模糊语法信息测
16、度 作为模糊熵作为模糊熵 ，至少必须满足以下三个基本的特性：，至少必须满足以下三个基本的特性：（1）当且仅当）当且仅当f在在L上取值上取值0或或1时，模糊熵时，模糊熵 才为零。才为零。（2）当且仅当）当且仅当f恒为恒为1/2时时,才取最大值才取最大值（3）f 越陡峭，越陡峭，应当越小；反之则应越大。就是说，若有应当越小；反之则应越大。就是说，若有 则应有则应有)(fd)(fd)(fd)(fd2/1)(),()(2/1)(),()(*xfifxfxfxfifxfxf)()(*fdfd2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论其中，特性（其中，特性（
17、1）是对模糊熵极值性的规定，即当模糊集的示性）是对模糊熵极值性的规定，即当模糊集的示性函数仅取函数仅取0或或1值时，模糊集退化为普通集。特性（值时，模糊集退化为普通集。特性（2）也是对模）也是对模糊熵的极值性的规定即各个元的隶属度均为糊熵的极值性的规定即各个元的隶属度均为12时，模糊集所时，模糊集所固有的不定性达到最大的程度。条件（固有的不定性达到最大的程度。条件（3）是模糊熵的有序性的）是模糊熵的有序性的规定：隶属度分布越陡峭的模糊集所具有的不定性越小。显然，规定：隶属度分布越陡峭的模糊集所具有的不定性越小。显然，这些都是合理的要求。这些都是合理的要求。4.2 模糊语法信息测度模糊语法信息测
18、度2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论一般说来，有很多类函数都可能满足这三个基本要求，他们选择一般说来，有很多类函数都可能满足这三个基本要求，他们选择了如下的形式：了如下的形式：其中其中)()()(_fHfHfd)(1)(_xfxf4.2 模糊语法信息测度模糊语法信息测度于是，如果引入于是，如果引入Shannon函数函数 则则)1log()1(log)(xxxxxSNnnxfSkfd1)()(2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论令令 ，则，则 NnnxfSNfd1)(1)(Nnnnnnx
19、fxfxfxfN1)(1log)(1)(log)(14.2 模糊语法信息测度模糊语法信息测度Nk1这个这个 显然能够满足上述三个基本特性的要求，因此便成为模显然能够满足上述三个基本特性的要求，因此便成为模糊集的不定性的测度，称为模糊熵。糊集的不定性的测度，称为模糊熵。)(fd2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论偶发试验所具有的不定性可以表示为偶发试验所具有的不定性可以表示为niiiAqqXH1log)(4.3 语法信息统一测度语法信息统一测度由此可见，不同类型的信息有不同的度量公式，为此，需要探讨由此可见，不同类型的信息有不同的度量公式，为
20、此，需要探讨更一般的信息函数表达式。更一般的信息函数表达式。与与Shannon方法不同，这里不从概率的概念出发来定义信息函数，方法不同，这里不从概率的概念出发来定义信息函数，而从一个更广义的概念出发来寻求新的解答。这个广义概念就是而从一个更广义的概念出发来寻求新的解答。这个广义概念就是“肯定度肯定度”。作者从肯定度归一和不归一两种情况讨论了语法信息的统一测度。作者从肯定度归一和不归一两种情况讨论了语法信息的统一测度。2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论对于肯定度归一的结论对于肯定度归一的结论观察者观察者R从试验系统（从试验系统（XCC*）中
21、得到的信息量中得到的信息量I（C，C*；R）是他通过观察所实现的关于是他通过观察所实现的关于X的对数相对平均肯定度的增量，的对数相对平均肯定度的增量，即即)()();,(*CICIRCCINnNnnnnncccc11*loglog4.3 语法信息统一测度语法信息统一测度称称 为一般信息函数，为一般信息函数，);,(*RCCI2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论对于肯定度不归一的结论对于肯定度不归一的结论由于模糊集合各个元素的确定性性质，定义在整个模糊集合由于模糊集合各个元素的确定性性质，定义在整个模糊集合(X,C,C*)上的平均信息量就等于
22、定义在各个上的平均信息量就等于定义在各个(fn,1-fn)上的信息量的算术上的信息量的算术平均，即：平均，即：)1log()1(log)1log()1(log1);,(1);,(1*1*nnnnNnnnnnNnnnffffffffNRCCINRCCI4.3 语法信息统一测度语法信息统一测度2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论这样，在形式上，我们就可以把统一的语法信息这样，在形式上，我们就可以把统一的语法信息I(C,C*;R)表示表示为式为式(3.3.37)所示的两段表达式，即：所示的两段表达式，即：FCccccNccccNQCPCccccR
23、CIRCIRCCINnnnnnNnnnnnNnNnnnnn11*11*)1log()1(log1)1log()1(log1)()(loglog);();();,(4.3 语法信息统一测度语法信息统一测度2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论NnnnnnNnnttttNTINTI112log)1log()1(log1)(1)()1log()1(log)1log()1(log1)()();,(1*nnnnNnnnnnttttttttNTITIRTTI4.4 全信息统一测度全信息统一测度称称I(T)为为R关于关于X的先验单纯语义信息量，的先验单纯语
24、义信息量，I(T*)为为R关于关于x的后验的后验单纯语义信息量，而称单纯语义信息量，而称I(T,T*；R)为为R在观察试验在观察试验X的过程中所的过程中所获得的实得单纯语义信息量。获得的实得单纯语义信息量。2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论综合逻辑真实度也是一个模糊量。因此，也可以采用与上面类似综合逻辑真实度也是一个模糊量。因此，也可以采用与上面类似的方法来建立综合语义信息的测度，即的方法来建立综合语义信息的测度，即FCNQCPCNINnnnnnNnnn112log)1log()1(log1)()(loglog)(4.4 全信息统一测度全
25、信息统一测度FCNQCPCIIRInnnnNnnnnnNnnNnnnn)1log()1(log)1log()1(log1)()(loglog)()();,(1*11*2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论综合语用信息的特征量是综合效用度，综合语用信息量公式确实综合语用信息的特征量是综合效用度，综合语用信息量公式确实综合了各种信息量的关系，它可以理解为综合了各种信息量的关系，它可以理解为“全信息全信息”的测度公式。的测度公式。FCNQCPCINnnnnnNnnn112log)1log()1(log1)()(,log)(4.4 全信息统一测度全信息统一测度FCNQCPCRInnnnNnnnnnNnNnnnnn)1log()1(log)1log()1(log1)()(loglog);,(1*11*2电气与信息工程学院电气与信息工程学院信息的定量测度信息的定量测度信息科学导论信息科学导论作业作业天气预报提供的概率空间如下：天气预报提供的概率空间如下：求天气预报提供的平均信息量？其中出现求天气预报提供的平均信息量？其中出现“大雨大雨”含有的信息是多少？含有的信息是多少？81814121小雨大雨阴晴PX
