1、必须掌握的概率论知识必须掌握的概率论知识)()(|BPABPBAp）（)()(|APABPABp）（)|()(BApBPABp）（)|()(ABpAPABp）（必须掌握的概率论知识必须掌握的概率论知识 iiiiiABpBApBpAp)()|()()(必须掌握的概率论知识必须掌握的概率论知识)()|()()|()()|()()|(1APBAPBpBApBpBAPBpABpiiiiiiii )(),(),(21nxpxpxpp )()()()(321321nnxpxpxpxpxxxxPX niiixpxp11)(,0)(美国科学家美国科学家L.V.R.Hartley 于于1928年给出了信息的度量
2、方法。年给出了信息的度量方法。定义定义 若信源发出一符号若信源发出一符号xi，由于信道存在干扰，收到，由于信道存在干扰，收到 的不是的不是 x i 而是而是 y i，从，从 y i中获取有关中获取有关 x i的信息量用的信息量用 I(x i；y i)表示，称为互信息量。表示，称为互信息量。定义定义 上述情况，若信道无干扰，收到的就是上述情况，若信道无干扰，收到的就是x i 本身，本身，这样这样I(x i；y i)就可以用就可以用 I(x i；x i)表示，或简单记表示，或简单记作作 I(x i)，并称为自信息量。，并称为自信息量。一、自信息量一、自信息量1)函数函数 I(x i)的属性的属性
3、1 若有两个事件若有两个事件x i，x j，其先验概率为，其先验概率为 p(x i)p(x j)，则事件，则事件x i 比事件比事件x j 有更大的不确定性，同时有更大的不确定性，同时会带来更多的信息量；会带来更多的信息量；I(xi)I(xj)2 事件事件x i 先验概率先验概率 p(xi)=1（确定事件）（确定事件）,则不则不存在不确定性，同时不会带来信息量；存在不确定性，同时不会带来信息量；I(xi)=0.3 事件事件x i 先验概率先验概率 p(xi)=0（不可能事件）（不可能事件）,则则存在不确定性应为无穷大，同时会带来无穷的信息量；存在不确定性应为无穷大，同时会带来无穷的信息量；I(
4、xi).4 两个统计独立事件的联合自信息量应等于它们各两个统计独立事件的联合自信息量应等于它们各自信息量之和自信息量之和;则则 I(x y )=I(x)I(y)2)定义 一个符号消息 xi 的自信息量为其发生概率的对数的负数，并记为 I(xi)：I(xi)=log p(xi)当p(xi)=0，则 I(xi)；当p(xi)=1，则 I(xi)=0.3)自信息量的单位 自信息量的单位与所用对数的底有关：1 对数的底是2 时，单位为比特 bit(binary unit)2 对数的底是 e(自然对数)时，单位为奈特 nat(nature unit)3 对数的底是10(常用对数)时，单位为笛特或哈特 d
5、et(decimal unit)or Hart(Hartley)二、离散信源熵二、离散信源熵 信源信源 X 发出某一个符号提供的信息量不适合描述信源发出某一个符号提供的信息量不适合描述信源X发出一个符号提供的信息量。发出一个符号提供的信息量。定义定义 信息源的信息源的平均不确定度平均不确定度为信源中各个符号不确定为信源中各个符号不确定 度度的数学期望，记作的数学期望，记作H(X)其中其中 H(X)又称为信源又称为信源X的信源熵。的信源熵。niiixpxp11)(,0)(niiiniiixxpxIxpXH11)log()()()()(0)(lim11lim1loglimloglim02000 i
6、jjijiyxIyxpXYH)()()(1)|()()()(jjijjjiiyxpypyxpxp iijijjiijjiijijijiyxpyxpxpyxpyxpxpyxpXYH)|(log)()(log)()|()(log)()()|()|()|(jijiijyxIyxpyXH jijjijiijijijijijijjjjjyxIyxpyxIyxpypyxIyxpypyXHypYXH)|()()|()|()()|()|()()|()()|()()|()(iiiiiABpBApBp三、互信息三、互信息（一）简单的通信模型（一）简单的通信模型 若信源发出符号若信源发出符号 xi，由于信道存在干扰
7、，收到的不，由于信道存在干扰，收到的不是是xi 而是而是 y i，从，从y i中获取有关中获取有关 xi 的信息量称为的信息量称为互互信息量信息量，用，用 I(x i;y i)表示。表示。信源信源X有干扰有干扰离散信道离散信道信宿信宿Y干扰源干扰源所以所以 H(X Y)=H(X)H(Y|X)同理同理 H(X Y)=H(Y)H(X|Y)含义：平均从含义：平均从Y获得获得的关于的关于X的信息量。的信息量。（又称信道（又称信道的的信息传输率信息传输率R）XYsigbitxPyxPxyP/)()|(log)()()();(YXHXHYXI XYsigbityPxPxyPxyP/)()()(log)(X
8、YsigbityPxyPxyP/)()|(log)(I(X;Y)与熵：与熵：不不同同点点：提提供供与与获获得得共共同同点点：统统计计平平均均I(X;Y)与与I(x;y)：I(x;y)表示由随机事件表示由随机事件y中中获得获得的关于事件的关于事件x的信息。的信息。互信息互信息:)()(log);(ypyxpyxI 关系：关系：I(X;Y)EXYI(x;y)XYxPyxPxyPYXI)()|(log)();(比较：比较：I(x;y)可正可负，可正可负，1非负性非负性 I(X;Y)0)()|(log);(xpyxpyxI，通通信信受受干干扰扰，通通信信中中断断，正正常常通通信信当当0);(),()|
9、(0);(),()|(0);(),()|(yxIxpyxpyxIxpyxpyxIxpyxp 当当I(X;Y)=0全损信道：全损信道：H(X)=H(X|Y)，)|()()()()(ijjjijiabpbpbpapbap信源信源加密加密密钥源密钥源信道信道解密解密信宿信宿保密通信系统框图保密通信系统框图XYY非法用户非法用户全损信道 信息处理的一般规律：通过传输获得的信息量不信息处理的一般规律：通过传输获得的信息量不大于提供的信息量。大于提供的信息量。)();(0XHYXI I(X;Y)=H(X)无损信道：无损信道：H(X|Y)=0，P(x|y)=0 or 1 I(X;Y)=I(Y;X)XYxpy
10、xpxypYXI)()|(log)();(XYXYypxypxypypxpxypxyp)()|(log)()()()(log)();()|()(XYIXYHYH I(X;Y)=H(X)H(X|Y)=H(Y)H(Y|X)4.I(X;Y)与各类熵的关系与各类熵的关系 文氏图文氏图H(XY)H(YX)I(X;Y)=H(X)+H(Y)H(XY)H(XY)信道名称信道名称信道特征信道特征 信息传输情况信息传输情况 全损信道P(xy)=P(x)P(y)H(XY)=H(X)I(X；Y)=0 无噪信道 P(yx)=0 or 1 H(YX)=0I(X；Y)=H(Y)无损信道 P(xy)=0 or 1 H(XY)
11、=0I(X；Y)=H(X)5 凸状性凸状性I(X;Y)=f P(x)，P(y|x)()|()()()|()()()()|(log)();(xPxyPxyPxPxyPxyPyPxPyxPxyPYXIXXXYTh3.2：对于固定信源分布，平均互信息对于固定信源分布，平均互信息I(X;Y)是信道是信道传递概率传递概率p(y|x)的的型凸函数。型凸函数。5 凸状性凸状性Th3.1：对于固定信道，平均互信息对于固定信道，平均互信息I(X;Y)是信源概率是信源概率分布分布p(x)的的型凸函数。型凸函数。v平均互信息是信源符号概率分布的上凸函数平均互信息是信源符号概率分布的上凸函数v平均互信息是信道转移概率
12、的下凹函数平均互信息是信道转移概率的下凹函数 例例1 分析二元信源通过分析二元信源通过BSC信道的信道的I(X;Y)特性特性 110)(xPX信源：信源：，信道：，信道：1p1ppp0011则则 XYxPyxPxyPYXI)()|(log)();()|()(XYHYH 其中，其中，XYX YxyPxyPxPxyPxyPXYH)|(1log)|()()|(1log)()|(pppppppp1log1log)1(1log1log pppp1log1log )(pH，得：，得：)2(1)1()1(2)1()0(ppppyPppppyP )2()(ppHYH )()2();(pHppHYXI XXxP
13、xyPxyPyP)()|()()(I.固定信道（固定信道（p一定），一定），H(p)一定一定I(X;Y)H(+p2p)由熵上凸性的该由熵上凸性的该I(X;Y)为为的上凸函数的上凸函数I(X;Y)1H(p)01/211/2时，时，I(X;Y)极大极大I(X;Y)H(1/2)H(p)=1H(p).固定信源（固定信源（一定）一定）则则I(X;Y)p，I(X;Y)=I(p)0)21(1)21()1()1()(pppppI I(p)为下凹函数为下凹函数可求：可求：p=1/2,I(X;Y)=0,极小极小p=0,I(X;Y)=H()p=1,I(X;Y)=H()I(X;Y)01/21p编码编码A器输入为：器输入为：,),(211nlLluuussssS编码器输出的码字为：编码器输出的码字为：,),(211mkKkbbbssxxX符号码1码2码3码4等长码变长码u100001u201101101u3100000001u31101110001树图（码树）法：树根=码字的起点树的度=码元数分支结点=码的符号的一部分终端结点=待编码符号满树=等长码：树中各结点有相同树枝数，且每层结点树达到最大值。非满树=变长码精品课件精品课件！精品课件精品课件！
