1、2.1 信息的概念信息的概念 各类通信系统电报、电话、广播、电视、雷达、遥测等传送的是各种各样的消息。消息的形式可以不同，但它们都是能被传递的，能被人们感觉器官（眼、耳、触觉等）所感知的，而且消息表述的是客观物质和主观思维的运动状态或存在状态。香农将各种通信系统概括成如图2-1所示的框图。图2.1通信系统的简单模型 香农“信息”的定义：信息是事物运动状态或存在信息是事物运动状态或存在方式的不确定性的描述方式的不确定性的描述。2.2信息的度量信息的度量 2.2.1 自信息自信息 根据香农的有关信息的定义，信息如何测度呢？当人们收到一封电报，或听了广播，或看了电视，到底得到多少信息量呢？显然，信息
2、量与不确定性消除的程度有关。消除多少不确定性，就得多少信息量。那么，不确定性（uncertainty）的大小能度量吗？用数学的语言来讲，不确定就是随机性，具有不确定性的事件就是随机事件。因此，可运用研究随机事件的数学工具概率论和随机过程来测度不确定性的大小。若从直接概念来讲，不确定性的大小可以直观地看成是事先猜测某随机事件是否发生的难易程度。我们把某事物各种可能出现的不同状态，即所有可能选择的消息的集合，称为样本空间样本空间。每个可能选择的消息是这个样本空间的一个元素。对于离散消息的集合，概率测度就是对每一个可能选择的消息指定一个概率（这个概率是非负的，且所有消息的概率和为1）。一个样本空间和
3、它的概率测度称为一个概率空间概率空间。一般概率空间用 来表示。在离散情况下，概率空间为 且有其中 就是选择符号作为消息的概率，称作为先验概率先验概率。,()X p x1212,(),(),()()nnxxxXp xp xp xp x1)(1niixp)(ixpix。()iI x消息（符号）的自信息自信息 代表两种含义：当事件 发生以前，表示事件发生的不确定性；当事件 发生以后，表示事件所含有（或所提供）的信息量1()loglog()()iiiI xp xp x()iI xixixixix例例2.2-1 设英文E字母出现的概率为0.105，x出现的概率为0.002。试求E及x的自信息。解：解：英
4、文字母出现的概率为，其自信息为 字母出现的概率为，其自信息为 2211loglog3.25()0.105EIbitp E105.0)(Ep002.0)(xp2211loglog8.97()0.002xIbitp x2.2.2 信息熵信息熵设离散信息源是一个N由个符号组成的集合，称符号集。符号集中的每一个符号 在消息中是按一定概率 独立出现的，其概率空间为且有 则 所包含的信息量分别为 ，。于是，该信源每个符号所含信息量的统计平均值，即平均信息量为 ix)(ixp21()()log()(/niiiH Xp xp xbit 符号）1)(1niixpnxxx,21)(log12xp)(log22xp
5、)(log2nxp21()()log()(/niiiH Xp xp xbit 符号）信息熵有三种物理含义：（1）信息熵 表示信源输出后，每个离散消息所提供的平均信息量。（2）信息熵 表示信源输出前，信源的平均不确定度。（3）信息熵 反映了变量的随机性()H X()H X()H X例例2.2-2 某信息源的符号集由A，B，C，D和E组成，设每一符号独立出现，其出现概率分别为1/4，1/8，1/8，3/16和5/16。试求该信息源符号的平均信息量。解：解：该信息源符号的平均信息量为 12222()()log()11113355log2logloglog2.23/448816161616niiiH
6、Xp xp xbit 符号以上我们讨论了离散消息的度量。类似，关于连续消息的信息量可用概率密度来描述。可以证明，连续消息的平均信息量（相对熵）为()()log()ah xp xp x dx 2.3 信号的概念及分类信号的概念及分类2.3.1 基本概念 通信的目的是为了获取信息。信息是人类社会和自然界中需要传递、交换、存储和提取的抽象内容。由于信息是抽象的内容，为了传送和交换信息，必须通过语言、文字、图像和数据等将它表示出来。即信息通过消息来表示。2.3.2 信号的分类信号的分类1、确知信号与随机信号确知信号是指能够以确定的时间函数表示的信号，它在定义域内任意时刻都有确定的函数值。例如电路中的正
7、弦信号和各种形状的周期信号等。2、周期信号与非周期信号周期信号是每隔一个固定的时间间隔重复变化的信号。周期信号满足下列条件非周期信号是不具有重复性的信号。()(),0,1,2,3,f tf tnTnt 3、模拟信号与数字信号 模拟信号是指代表消息的信号参量（幅度、频率或相位）随消息连续变化的信号。数字信号是指它不仅在时间上离散，而且在幅度取值上也是离散的信号。（a）时间连续的模拟信号 （b）时间离散的模拟信号 图 模拟信号数字信号示意图 模拟信号和数字信号可以通过一定的方法实现相互转换，如语音编码器可以实现模拟语音信号转化为数字语音，语音译码器可以实现数字语音转化为模拟语音。通常使用的A/D和
8、D/A转换器就是实现模拟信号和数字信号之间的相互转换 2.4 信号的一般特性信号的一般特性 信号的一般特性表现为它的时域特性和频域特性。例例2.4-1 设有一个信号为 式中，则信号的信号特征如图2-4所示，图（a）为信号f(t)的时域图，图（b）为对应f(t)的频谱图，其频谱从f1(Hz)延续到f2(Hz)，其带宽为2 f1Hz。11()3sinsin3f ttt1122fT根据傅里叶变换的原理，任何一个周期为T的周期信号，只要满足狄里赫利条件，则可展开为傅里叶级数 其中，为基波角频率；的均值（直流分量）的第n次余弦波的振幅 的第n次正弦波的振幅 1000sincos2)(nnntnbtnaa
9、tfT/202/2/0)(12TTdttfTa2/2/0cos)(2TTntdtntfTa2/2/0sin)(2TTntdtntfTb)(tf)(tf)(tf例例2.4-2 已知为如图2-5（a）所示的方波周期信号，试分析其信号特性。解：解：用傅里叶级数对其展开后为 可作出的频谱示意图如图2-7所示，可见周期信号的频谱是离散谱。4111()(sinsin3sin5sin7)357f ttttt基波 3次谐波 5次谐波 7次谐波 图2-5（b）为的基波，图（c）为3次谐波，图（d）为5次谐波，图（e）为7次谐波等。把这些谐波相加，又可以反过来合成为方波。如图（f）是基波与3次谐波和5次谐波合成的
10、结果，图（g）是基波和3次谐波直到9次谐波合成的结果，图（h）是基波和3次谐波直到27次谐波合成的结果。可见，含有的高次谐波次数越多，合成后的波形越逼近原来的方波。图2-5 周期方波的分解与合成过程 图2-6 周期方波的频谱示意图对于非周期信号来说，其频谱将是连续的频谱，则傅里叶级数就变成了傅里叶积分，可表示为：两式称为傅里叶变换对，表示为：deFtftj)(21)(dtetfFtj)()()()(Ftf图2-7 信号的时域和频域之间的关系2.5 随机信号概述随机信号概述 2.5.1 随机变量（1）概率分布函数 F（x）定义随机变量X的概率分布函数 是取值小于或等于某个数值x的概率，即 （2.
11、5-1）上述定义中，随机变量可以是连续随机变量，也可以是离散随机变量。对于离散随机变量，其分布函数也可表示为 （2.5-2）式中，是随机变量取值为的概率。)(xF)()(xXPxF,3,2,1)()()(ixPxXPxFxxii()(1,2,3,)iP xi（2）概率密度函数对于连续随机变量X，其分布函数F(x)对于一个非负函数f(x)有下式成立 则f(x)称为随机变量的概率密度函数（简称概率密度）。xduufxF)()(dxxdFxf)()(2、随机变量的数字特征（1）、数学期望数学期望（简称均值）是用来描述随机变量X的统计平均值，它反映随机变量取值的集中位置。对于离散随机变量X，则其数学期
12、望定义为:对于连续随机变量，其数学期望定义为 kiiixPxXE1)()(dxxxfXE)()(（2）方差方差反映随机变量的取值偏离均值的程度。方差定义为随机变量X与其数学期望之差的平方的数学期望。对于离散随机变量，上式方差的定义可表示为 对于连续随机变量，方差的定义可表示为还可以表示为 2)(XEXEXDiiiPXExXD2)(dxxfXExXDi)()(2)()()()(2)(22222XEXEXEXXEXEXEXEXD2.5.2 随机过程的一般表述 穷多个样本函数的总体称为随机过程，如图2-8 所示。图2-8 随机过程波形 一、随机过程的分布函数和概率密度一、随机过程的分布函数和概率密度
13、任意给定，则 的n维分布函数被定义为 如果存在则称 为 的n维概率密度函数。显然，n越大，对随机过程统计特性的描述就越充分，但问题的复杂性也随之增加。在一般实际问题中，引用二维概率密度函数即可解决问题。12,nt tt)(t12121122(,.,;,.,)(),(),.,()nnnnnF x xx t ttPtxtxtx1212121212(,.,;,.,)(,.,;,.,)nnnnnnnnF x xx t ttfx xx t ttx xx 1212(,.,;,.,)nnnfx xx t tt)(t二、随机过程的数字特征二、随机过程的数字特征 1、数学期望（统计平均值）随机过程 的数学期望定
14、义为2、方差随机过程 的方差定义为也常记为)(t1()(,)Etxf x t dx)(t222221()()()()()(,)()DtEtEtEta tx f x t dxa t)(2t3、自协方差和自相关函数衡量同一随机过程在任意两个时刻上获得的随机变量的统计相关特性时，常用自协方差和自相关函数来表示。自协方差函数定义为 自相关函数定义为自协方差函数与自相关函数之间的关系式 121122121211222121212(,)()()()()()()()()()()(,;,)B t tEta tta tEtta t a txa txa tfx x t t dx dx 1212122121212(
15、,)()()(,;,)R t tEttx x fx x t t dx dx)()(),(),(212121tatattRttB2.5.3 平稳随机过程平稳随机过程若一个随机过程的任意n维分布函数或概率密度函数与时间起点无关。也就是说，随机过程 的n维概率密度函数满足:则称 为严平稳随机过程，或称狭义平稳随机过程。)(t121 21212(,;,)(,;,)nnnnnnf x xx t ttf x xx ttt)(t2、平稳随机过程的特性（1）各态历经性若满足：则称此随机过程为具有各态历经性的随机过程。22221lim()1()lim()()()TTTTax t dtaTRx t x tdtRT
16、（2）自相关函数的性质 1.2.3.4.5.2(0)()()REtSt的平均功率()()()RRR是偶函数()(0)R()RR的上界2()t)(t)RE（的直流功率2(0)()()RRt 方差，的交流功率（3）频谱特性 平稳随机过程的频谱特性用功率谱密度来表征。定义单位频带内信号的平均功率为功率谱密度（简称功率谱），单位为W/Hz.平稳随机过程的自相关函数与其功率谱密度之间互为傅里叶变换的关系:deRPdePRjj)()()(21)(例例2.5-4 分析语音信号的统计特性 解：解：语音信号是随机信号（即随机过程），通常认为该随机过程是均值为零的平稳随机过程。其统计特征可以用分布函数或概率密度函
17、数来描述。1、语音信号的幅度概率密度对语音信号进行幅度概率密度统计，是根据语音波形在长时间范围内对其幅度进行大量的抽样得到的结果。为了分析方便，常采用分布函数来近似它，最好是伽玛分布，其次是拉普拉斯分布和高斯分布。（1）伽玛分布设 ，u为信号的瞬时电压，ue为u的均方根值，则其一维概率密度函数（问陈）为:式中，K为常数，K通常取K=0.886 euxu()2K xK ef xx（2）拉普拉斯分布其一维概率密度函数（问陈）为()2a xaf xe（3）高斯分布设 ，U为信号的瞬时电压，Ue为U的均方根值，则其一维概率密度函数为 euxu221()2xf xe2、语音信号的功率谱可将模拟语音信号同
18、时加到一组并联的带通滤波器的输入端，测量出它们各个输出的平均值，即可画出功率密度谱特性。图2-9各出的曲线，其功率是在约1分钟的连续语言期间各滤波器输出的平均值而得到的示意图。从图中可以看出，平均功率在250500Hz处能量大，500Hz以内的成分占总能量的60%，1500Hz以内的能量占88%。图2-9 连续语音长时间功率谱密度3、语音信号的动态范围语音信号的动态范围定义为maxmin10lg()PLdBPmaxPminP式中，分别是语音信号的最大、最小功率。2.6 通信中噪声的概念通信中噪声的概念2.6.1 噪声的分类1、按照来源分类（1）、人为噪声。它是由人类的活动产生的，例如电钻和电气
19、开关瞬态造成的电火花、汽车点火系统产生的电火花、荧光灯产生的干扰、其它电台和家电用具产生的电磁波辐射等。（2）、自然噪声。它是自然界中存在的各种电磁波辐射，例如闪电、大气噪声，以及来自太阳和银河系等的宇宙噪声。2、按照性质分类（1）、脉冲噪声。它是突发性地产生的幅度很大、持续时间很短、间隔时间很长的干扰。（2）、窄带噪声。它可以看作是一种非所需的连续的已调正弦波，或简单地就是一个幅度恒定的单一频率的正弦波。（3）、起伏噪声。它是在时域和频域内都普遍存在的随机噪声。热噪声、电子管内产生的散弹噪声和宇宙噪声等都属于起伏噪声。2.6.2 高斯噪声高斯噪声1、高斯噪声的性质、高斯噪声的性质（1）若高斯
20、过程是宽平稳随机过程，则它也是严平稳随机过程。也就是说，对于高斯过程来说，宽平稳和严平稳是等价的。（2）若高斯过程中的随机变量之间互不相关，则它们也是统计独立的；（3）若干个高斯过程之和的过程仍是高斯过程；（4）高斯过程经过线性变换（或线性系统）后的过程仍是高斯过程 2、高斯噪声的一维概率密度函数高斯过程的一维概率密度表示式为221()()exp22xaf x图2-10 高斯过程的一维概率密度函数2.6.3 高斯白噪声高斯白噪声通信系统中，常会遇到这样一类噪声，它的功率谱密度均匀分布在整个频率范围内，即双边功率谱为 0()()2nP 这种噪声被称为白噪声，它是一个理想的宽带随机过程。式中 为一
21、常数，单位是瓦/赫兹。显然，白噪声的自相关函数可借助于下式求得，即 0n001()()222jnnRed 图2-11 白噪声的双边带功率谱密度和自相关函数这说明，白噪声只有在时才相关，而它在任意两个时刻上的随机变量都是互不相关的.2.7 信息处理信息处理 2.7.1 信息处理的基本概念信息处理的目的主要有：提高有效性；提高抗干扰性；改善主观感觉的效果；对信息进行识别和分类；分离和选择信息。总的来说，是为了提高系统对某一方面的要求以及优化系统某一方面的性能指标。2.7.2信息处理的主要手段信息处理的主要手段 信息处理的主要手段是变换，即编、译码。比如：为了提高系统的有效性，可以通过信源编码来实现
22、；为了提高系统的安全性，可以通过密码来实现；为了提高系统的可靠性，可以通过信道编码来实现等。由此，可将信息与通信中的基本问题归纳为三性：有效性、安全性和可靠性。数字通信系统的原理图可以画成图2-12所示的方框图。图2-12 数字通信系统原理方框图从一般概念来说，需要进行以下几方面的信息处理：从一般概念来说，需要进行以下几方面的信息处理：1、信源编码、信源编码图2.12中，信源编码器有两个重要作用：其一，当信息源为模拟信源时，信源编码器将模拟信源输出的模拟信号转换成数字信号（即A/D变换），以实现模拟信号的数字化传输；其二，当信息源为数字信源（离散信源）时，信源编码器设法寻找适当的方法把信源输出符号序列变换为最短的码字序列（即压缩编码），以消除信源符号之间存在分布不均匀和相关性，减少冗余、提高编码效率，从而提高数学信号传输的有效性。2、加密、加密加密的实质是为了解决通信与信息系统中信息传输、存储的安全性和保密性能。3、信道编码、信道编码信道编码是在信息序列上附加上一些监督码元，利用这些冗余的码元，使原来不规律的或规律性不强的原始数字信号变为有规律的数字信号，其目的是实现信道与通信系统在可靠性指标下的优化。
