1、第一章第一章 时域离散随机信号的分析时域离散随机信号的分析 1.21.2 时域离散随机信号的统计描述时域离散随机信号的统计描述1.11.1 引言引言1.31.3 随机序列数字特征的估计随机序列数字特征的估计1.41.4 平稳随机序列通过线性系统平稳随机序列通过线性系统 1.51.5 时间序列信号模型时间序列信号模型 现现 代代 信信 号号 处处 理理信息工程学院广播电视工程系牛力丕 数字信号处理 -时域离散随机信号处理丁玉美 等西安电子科技大学出版社教教 科科 书书参参 考考 书书3、数字信号处理-理论、算法与实现 胡广书 清华大学出版社2、现代数字信号处理 姚天任 华中理工大学出版社1、现代
2、信号处理 张贤达 清华大学出版社第一章第一章 时域离散随机信号的分析时域离散随机信号的分析 第二章第二章 维纳滤波和卡尔曼滤波维纳滤波和卡尔曼滤波 第三章第三章 自适应数字滤波器自适应数字滤波器 第四章第四章 功率谱估计功率谱估计 本本 书书 内内 容容第一章第一章 时域离散随机信号的分析时域离散随机信号的分析 1.21.2 时域离散随机信号的统计描述时域离散随机信号的统计描述1.11.1 引言引言1.31.3 随机序列数字特征的估计随机序列数字特征的估计1.41.4 平稳随机序列通过线性系统平稳随机序列通过线性系统 1.51.5 时间序列信号模型时间序列信号模型 1.1 引引 言言 信号有确
3、定性信号和随机信号之分：信号有确定性信号和随机信号之分：确定性信号：确定性信号：就是信号的幅度随时间的变化有一定就是信号的幅度随时间的变化有一定的规律性，可以用一个明确的数学关系进行描述，的规律性，可以用一个明确的数学关系进行描述，是可以再现的。是可以再现的。随机信号：随机信号：随时间的变化没有明确的变化规律，在随时间的变化没有明确的变化规律，在任何时间的信号大小不能预测，因此不可能用一明任何时间的信号大小不能预测，因此不可能用一明确的数学关系进行描述，但是这类信号存在着一定确的数学关系进行描述，但是这类信号存在着一定的统计分布规律，它可以用概率密度函数、概率分的统计分布规律，它可以用概率密度
4、函数、概率分布函数、数字特征等进行描述。布函数、数字特征等进行描述。(1)(1)连续随机信号：时间和幅度均取连续值的随机信号。连续随机信号：时间和幅度均取连续值的随机信号。实际中的随机信号常有四种形式：实际中的随机信号常有四种形式：(2)(2)时域离散随机信号：时间变量取离散值，而幅度取时域离散随机信号：时间变量取离散值，而幅度取连续值的随机信号。连续值的随机信号。(3)(3)幅度离散随机信号：幅度取离散值，而时间变量取幅度离散随机信号：幅度取离散值，而时间变量取连续值的随机信号。例如随机脉冲信号，其取值只有连续值的随机信号。例如随机脉冲信号，其取值只有两个电平，不是高电平就是低电平，但高低电
5、平的选两个电平，不是高电平就是低电平，但高低电平的选取却是随机的。取却是随机的。(4)(4)离散随机序列离散随机序列(也称为随机数字信号也称为随机数字信号)：幅度和时间：幅度和时间变量均取离散值的信号。变量均取离散值的信号。随机信号随机信号X(X(t)是由它所有可能的样本函数集合而成的是由它所有可能的样本函数集合而成的,样本函数用样本函数用xi(t),i(t),i=1,2,3,=1,2,3,表示表示x1(t)x2(t)xn(t)tttt1tn图图1.1.1 1.1.1 n部接收机的输出噪声电压部接收机的输出噪声电压 x1(n)x2(n)xn(n)nnn图图1.1.2 1.1.2 n部接收机输出
6、噪声的时域离散化部接收机输出噪声的时域离散化 1.2 1.2 时域离散随机信号的统计描述时域离散随机信号的统计描述 概率分布函数概率分布函数)(),(nnnXxXPnXFn概率密度函数概率密度函数nnXnXxnxFnxpnn),(),(N N维概率分布函数和维概率分布函数和N N维概率密度函数维概率密度函数 概率密度函数、概率分布函数能对随机序列进行完概率密度函数、概率分布函数能对随机序列进行完整的描述整的描述,但实际中往往无法得到它。因此，引入随但实际中往往无法得到它。因此，引入随机序列的机序列的数字特征数字特征。在实际中，这些数字特征比较容。在实际中，这些数字特征比较容易进行测量和计算，知
7、道这些数字特征也足易进行测量和计算，知道这些数字特征也足够用了。够用了。常用的数字特征有数学期望、方差和相关函数等。常用的数字特征有数学期望、方差和相关函数等。随机信号用概率密度函数、概率分布函数描述：随机信号用概率密度函数、概率分布函数描述：1.2.2 1.2.2 随机序列的数字特征随机序列的数字特征xnxpnxnxEnmnxxd),()()()(式中式中E E表示求统计平均值。表示求统计平均值。由上式可见，数学期望是由上式可见，数学期望是n的函数，如果随机序的函数，如果随机序列是列是平稳的，则数学期望是与平稳的，则数学期望是与n无关常数。无关常数。1.1.数学期望数学期望(统计平均值统计平
8、均值)2.2.均方值与方差均方值与方差xnxpnxXEnxnd),(|)(|22随机序列的方差定义为随机序列的方差定义为|)(|)(22nmXEnxnx数学期望数学期望、均方值和、均方值和方差方差三者的关系为：三者的关系为：)(|)(222nmXEnxnx随机序列均方值定义为随机序列均方值定义为 一般均方值和方差都是一般均方值和方差都是n的函数，但对于平稳随机序的函数，但对于平稳随机序列，它们是与列，它们是与n无关的常数。将无关的常数。将x 称为标准方称为标准方差。差。3.3.随机序列的相关函数和协方差函数随机序列的相关函数和协方差函数mnmnXXmnmnxxdxdxmxnxpxxXXEmnr
9、mn),(),(,*在随机序列不同时刻的状态之间，存在着关联性，在随机序列不同时刻的状态之间，存在着关联性，或者说不同时刻的状态之间互相有影响，包括随机序或者说不同时刻的状态之间互相有影响，包括随机序列本身或者不同随机序列之间。这一特性常用自相关列本身或者不同随机序列之间。这一特性常用自相关函数和互相关函数进行描述。函数和互相关函数进行描述。自相关函数自相关函数定义为定义为 自协方差函数自协方差函数定义为定义为 )()(),cov(mnXmXnmnmXmXEXX式中的式中的“*”表示复共轭。上式也可以写成表示复共轭。上式也可以写成 mnXXxxmnmmmnrXX*),(),cov(对于零均值随
10、机序列，对于零均值随机序列，mXn=mXm=0,则则 ),(),cov(mnrXXxxmn此时，自相关函数和自协方差函数没有什么区别。此时，自相关函数和自协方差函数没有什么区别。对于两个不同的随机序列之间的关联性，我们用对于两个不同的随机序列之间的关联性，我们用互相关函数和互协方差函数描述。互相关函数和互协方差函数描述。mnmnYXmnmnxydydxmynxpyxYXEmnrmn),(),(,*)()(),cov(*mnYmXnmnmYmXEYX当当 mXn=mYm=0 时时，cov(Xn,Ym)=rxy(n,m)互相关函数互相关函数的定义为的定义为 互协方差函数互协方差函数定义定义为为mn
11、YXxymmmnr*),(在信息处理与传输中，经常遇到一类称为平稳随在信息处理与传输中，经常遇到一类称为平稳随机序列的重要信号。所谓平稳随机序列，是指它的机序列的重要信号。所谓平稳随机序列，是指它的N维概率分布函数或维概率分布函数或N维概率密度函数与时间维概率密度函数与时间n的起始位的起始位置无关。换句话说，平稳随机序列的统计特性不随时置无关。换句话说，平稳随机序列的统计特性不随时间而发生变化。间而发生变化。1.2.3 1.2.3 平稳随机序列及其数字特征平稳随机序列及其数字特征上面这类随机序列称为上面这类随机序列称为狭义狭义(严严)平稳随机序列平稳随机序列，这一，这一严平稳的条件在实际情况下
12、很难满足。严平稳的条件在实际情况下很难满足。许多随机序列不是平稳随机序列，但它们的均值和方许多随机序列不是平稳随机序列，但它们的均值和方差却不随时间改变，其相关函数仅是时间差的函数。差却不随时间改变，其相关函数仅是时间差的函数。一般将这一类随机序列称为一般将这一类随机序列称为广义广义(宽宽)平稳随机序列平稳随机序列。平稳随机序列的一维概率密度函数与时间无关，平稳随机序列的一维概率密度函数与时间无关，因此均值、方差和均方值均是与时间无关的常数。因此均值、方差和均方值均是与时间无关的常数。)()(mnxEnxEmx 二维概率密度函数仅决定于时间差，与起始时间二维概率密度函数仅决定于时间差，与起始时
13、间无关；自相关函数与自协方差函数是时间差的函数。无关；自相关函数与自协方差函数是时间差的函数。)(*mnnxxXXEmr|22mnnXEXE|222xmnxnxmxEmxE)()()(cov*xmnxnxxmXmXEm两个各自平稳且联合平稳的随机序列两个各自平稳且联合平稳的随机序列,其互相关函数为其互相关函数为),()(*mnnxyxyYXEmnnrmr显然显然,对于自相关函数和互相关函数对于自相关函数和互相关函数,下面公式成立下面公式成立:)()(*mrmrxxxx)()(*mrmryxxy则称两个随机序列互为则称两个随机序列互为正交正交zmmrxy,0)(则称两个随机序列则称两个随机序列互
14、不相关互不相关 zmmmmryxxy,)(1)1)自相关函数和自协方差函数是自相关函数和自协方差函数是m的偶函数的偶函数:)(cov)(cov),()(mmmrmrxxxxxxxx)0(2nxxXEr2)2)rxx(0)数值上等于随机序列的平均功率数值上等于随机序列的平均功率实平稳随机序列的相关函数、协方差函数有如下性质实平稳随机序列的相关函数、协方差函数有如下性质3)3)|)(|)0(mrrxxxx)(cov)(cov),()(mmmrmryxxyyxxy4)4)2)(limxxxmmmryxxymmmmr)(lim上式说明大多数平稳随机序列内部的相关性随着时上式说明大多数平稳随机序列内部的
15、相关性随着时间差的变大，愈来愈弱。间差的变大，愈来愈弱。5)5)2)()(covxxxxxmmrm2)0(covxxx 随机序列的自相关函数是非周期序列，但随着随机序列的自相关函数是非周期序列，但随着时间差时间差m的增大，趋近于随机序列的均值。如果随的增大，趋近于随机序列的均值。如果随机序列的均值为机序列的均值为0 0，rxx(m)是收敛序列。是收敛序列。mmxxxxzmrzP)()(1.2.4 平稳随机序列的功率密度谱平稳随机序列的功率密度谱随机序列自相关函数的随机序列自相关函数的z变换为：变换为：平稳随机序列是非周期函数，且是能量无限信平稳随机序列是非周期函数，且是能量无限信号，无法直接利
16、用傅里叶变换进行分析。号，无法直接利用傅里叶变换进行分析。进行进行z变换，得变换，得*1)(zPzPxxxx类似地，互相关函数的类似地，互相关函数的z变换用变换用Pxy(z)表示表示mxyxyzmrzP)()()()(*mrmrxxxx如果如果z1是其极点是其极点，1/z*1也是极点也是极点如果如果z1在单位圆内在单位圆内，1/z*1必在单位圆外必在单位圆外1|aaRzR所以收敛域一定包含所以收敛域一定包含单位圆单位圆，Pxx(z)的收敛域为的收敛域为:10aR*1)(zPzPyxxy)()(*mrmryxxy进行进行z变换，得变换，得Pxx(z)的收敛域包含单位圆，的收敛域包含单位圆，rxx
17、(m)的傅里叶变换存在的傅里叶变换存在mmjxxxxmrPeej)()(dee-mjjxxxxmr)(P21)(将将m=0代入反变换公式，得代入反变换公式，得 d)(e21)0(-jxxxxPr将将 代入，有代入，有jez 称为称为功率谱密度功率谱密度，简称，简称功率谱功率谱 )e(jxxP离散离散 周期周期非周期非周期 连续连续离散、非周期序列离散、非周期序列)(mrxx)(Pjxxe周期、连续的频谱周期、连续的频谱rxx(0)等于随机序列的平均功率等于随机序列的平均功率1)1)功率谱是功率谱是的偶函数的偶函数)()(xxxxPP1)cos()(2)0(mxxxxmmrr0)cos()(1d
18、emPjxx实、平稳随机序列的功率谱，有如下的性质实、平稳随机序列的功率谱，有如下的性质:mmjxxxxmrPeej)()(de)(eP21)(-njjxxxxmr2)2)功率谱是实的非负函数功率谱是实的非负函数0)(xxP集合平均集合平均要求对大量的样本进行平均要求对大量的样本进行平均,实际中这种的实际中这种的做法是不现实的。在很多情况下，可以用研究一条样做法是不现实的。在很多情况下，可以用研究一条样本曲线来代替研究整个随机序列。本曲线来代替研究整个随机序列。NNnNnxNnx)(121lim)(其其时间自相关函数时间自相关函数为为 NNnNmnxnxNmnxnx)()(*121lim)()
19、(*式中式中表示时间平均算子表示时间平均算子1.2.5 1.2.5 随机序列的各态历经性随机序列的各态历经性设设x(n)是平稳随机序列是平稳随机序列X(n)的一条样本曲线，其的一条样本曲线，其时间时间平均值平均值为为 如果平稳随机序列的如果平稳随机序列的集合平均值集合平均值与与集合自相关函数值集合自相关函数值依概依概率趋于平稳随机序列样本函数的率趋于平稳随机序列样本函数的时间平均值时间平均值与与时时间自相关函数间自相关函数 平稳随机序列虽有各态历经性的和非各态历经性平稳随机序列虽有各态历经性的和非各态历经性的两种，但在实际中遇到的平稳随机序列，一般都是的两种，但在实际中遇到的平稳随机序列，一般
20、都是各态历经性的。用研究平稳随机序列的一条样本曲线各态历经性的。用研究平稳随机序列的一条样本曲线代替研究其集合，用时间平均代替集合平均，这代替研究其集合，用时间平均代替集合平均，这给研给研究平稳随机序列带来很大的方便。究平稳随机序列带来很大的方便。则称该平稳随机序列具有则称该平稳随机序列具有各态历经性各态历经性)()(nXEmnxx)()()()()(*mnXnXEmrmnxnxxx正态随机序列的概率密度函数是正态随机序列的概率密度函数是钟钟形曲形曲线线1.2.6 1.2.6 特定的随机序列特定的随机序列1.1.正态（高斯）随机序列正态（高斯）随机序列),(2xmN具有指数型自相关函数的平稳高
21、斯过程称为高斯具有指数型自相关函数的平稳高斯过程称为高斯马马尔可夫过程。这种信号的自相关函数和谱尔可夫过程。这种信号的自相关函数和谱密度函数为密度函数为|-2e)(mXmR222j2)e(xxP高斯高斯马尔可夫是一种常见的随机信号，适合于大多马尔可夫是一种常见的随机信号，适合于大多数物理过程，具有较好的精确性，数学描述简单。数物理过程，具有较好的精确性，数学描述简单。过程的自相关函过程的自相关函数特性完全描述了过程的特性。数特性完全描述了过程的特性。随机序列的变量不同时刻之间是两两不相关的，即随机序列的变量不同时刻之间是两两不相关的，即 mnxmnxxnxxr2),(式中式中 nmnmmn01
22、称序列为白噪声序列称序列为白噪声序列;2.2.白噪声序列白噪声序列mnmnxxxxr2),(2是常数。设均值是常数。设均值mx=0，其功率谱其功率谱Pxx(ej)=2，在整在整个频带上功率谱是一个常数。个频带上功率谱是一个常数。如果该序列是平稳的，则如果该序列是平稳的，则注意注意：正态和白色是两种不同的概念，正态是指信号：正态和白色是两种不同的概念，正态是指信号取值的规律服从正态分布，白色是指信号不同时刻取取值的规律服从正态分布，白色是指信号不同时刻取值的关联性。值的关联性。服从正态分布的服从正态分布的白噪声序列，称为白噪声序列，称为正态白噪声序列正态白噪声序列白噪声是随机性最强的随机序列，实
23、际中不存在，是白噪声是随机性最强的随机序列，实际中不存在，是一种理想的噪声。一般只要信号的带宽大于系统的带一种理想的噪声。一般只要信号的带宽大于系统的带宽，并且在系统的带宽内信号的频谱基本恒定，便可宽，并且在系统的带宽内信号的频谱基本恒定，便可把该信号认为是白噪声。把该信号认为是白噪声。3.3.谐波过程谐波过程 )cos()(1iiNiinAnx其中，其中，Ai和和i(i=1,2,3,N)是常数，是常数，i(i=1,2,3,N)是服从是服从均匀分布的随机变量，其概率密度为：均匀分布的随机变量，其概率密度为：21)(iip谐波过程也可以写成下式谐波过程也可以写成下式:)sin()cos()(1n
24、BnAnxiiiNiiiiiiiiBBAAsin,cos谐波过程用下式描述谐波过程用下式描述设设N=1,1,计算它的统计平均值和自相关计算它的统计平均值和自相关函数：函数：)cos()(nAnxd21)cos()(nAnxE)()(),(mnxnxEmnnrxx)cos(212mA0d)(cos()cos(22mnnAd)cos(2)2cos(42mnnA由于谐波过程的统计平均值与时间由于谐波过程的统计平均值与时间n无关，自相关函无关，自相关函数仅与时间差数仅与时间差m有关，所以谐波过程是平稳的。有关，所以谐波过程是平稳的。)cos(21)(0)(12mAmrnxEiNiixx当当N大于大于1
25、 1时，也有同样的结论时，也有同样的结论0)(nxE)cos(21)(2mAmrxx白噪声白噪声序列的相关性最差，序列的相关性最差，谐波谐波序列的相关性最强序列的相关性最强如果平稳随机信号的功率谱如果平稳随机信号的功率谱Pxx()满足下式：满足下式：c|0)(xxP则称该随机信号为低通性带限随机信号，式中则称该随机信号为低通性带限随机信号，式中c c表示表示功率谱的最高截止频率。功率谱的最高截止频率。1.2.7 1.2.7 随机信号的采样定理随机信号的采样定理css22f采样频率采样频率fs必须满足：必须满足：对于平稳随机信号，如果其功率谱严格限制在某对于平稳随机信号，如果其功率谱严格限制在某
26、一有限频带内，该随机信号称为带限随机信号。一有限频带内，该随机信号称为带限随机信号。1.3 1.3 随机序列数字特征的估计随机序列数字特征的估计 1.3.1 1.3.1 估计准则估计准则 根据观测数据对一个量根据观测数据对一个量(参数参数)或者同时对几个量或者同时对几个量(参数参数)进行推断，是估计问题。无论对那种量估计，进行推断，是估计问题。无论对那种量估计，都必须根据观测数据进行估计，而观测是存在观测误都必须根据观测数据进行估计，而观测是存在观测误差的差的(或者把观测误差看成噪声或者把观测误差看成噪声)，虽然被估计的参数，虽然被估计的参数是确定量，但观测数据却是随机的，所以由观测数据是确定
27、量，但观测数据却是随机的，所以由观测数据推算出的估计量存推算出的估计量存在着随机估计误差。因此如何判定在着随机估计误差。因此如何判定估计方法的好坏，是统计估计的基本问题。估计方法的好坏，是统计估计的基本问题。,1210NxxxxF 假定对随机变量假定对随机变量x观测了观测了N次，得到次，得到N个个观测值：观测值：x0,x1,x2,xN-1，希望通过这希望通过这N个观测值来估计参数个观测值来估计参数 P1()P2()0图图 1.3.1 1.3.1 估计量的概率密度曲线估计量的概率密度曲线 的估计值用表示。它是观测值的函数：的估计值用表示。它是观测值的函数：偏移性偏移性方差方差一致性一致性1.1.
28、偏移性偏移性 EB如果如果B=0，称为，称为无偏估计无偏估计。无偏估计表示估计量仅在。无偏估计表示估计量仅在它的真值附近摆动，这是我们希望的估计特性。它的真值附近摆动，这是我们希望的估计特性。则称为则称为渐近无偏估计渐近无偏估计，这种情况在实际中是常见的。，这种情况在实际中是常见的。估计量的统计平均值与真值之间的差值为偏移估计量的统计平均值与真值之间的差值为偏移 lim EN如果随着观察次数如果随着观察次数N的加大，能够满足下式：的加大，能够满足下式：如果如果B B00，则称为，则称为有偏估计有偏估计 和和 都是都是x的无偏估计值，如果对任意的无偏估计值，如果对任意N，它们的，它们的方差满足：
29、方差满足：122221)(,)(2222211221EEEE则称比更有效。一般希望当则称比更有效。一般希望当N时，时，02122.2.估计量的方差估计量的方差如果两个估计量在观察次数相同时，都是无偏估计，如果两个估计量在观察次数相同时，都是无偏估计，哪一个估计量在真值附近的摆动更小一些，即估计量哪一个估计量在真值附近的摆动更小一些，即估计量的方差更小一些，则这个估计就更有效。的方差更小一些，则这个估计就更有效。比较两个有偏估计是较麻烦的。偏移较小的估计，可比较两个有偏估计是较麻烦的。偏移较小的估计，可能有较大的方差，而方差较小的估计可能有较大的偏能有较大的方差，而方差较小的估计可能有较大的偏移
30、。此时使用估计值的均方误差会更方便。移。此时使用估计值的均方误差会更方便。)(22 EE如果估计量的均方差随着观察次数的增加趋于如果估计量的均方差随着观察次数的增加趋于0 0，即，即估计量随估计量随N N的加大，在均方意义上趋于它的真值，则的加大，在均方意义上趋于它的真值，则称该估计是称该估计是一致估计一致估计。3.3.一致性一致性均方误差均方误差估计量的估计量的均方误差均方误差为：为：)(22 EE通常对于一种估计方法的选定，往往无法使上述的三通常对于一种估计方法的选定，往往无法使上述的三种性能评价一致，此时只能对它们折衷考虑，尽量满种性能评价一致，此时只能对它们折衷考虑，尽量满足足无偏性无
31、偏性和和一致性一致性。估计量的估计量的均方误差均方误差与估计量的与估计量的方差方差和和偏移偏移的关系：的关系：)()(2EEE)(2)()(22EEEEEE22B随随N N的加大，偏移和估计量方差都趋于零，是一致估的加大，偏移和估计量方差都趋于零，是一致估计的充分必要条件。计的充分必要条件。EB)(22EE1.3.2 1.3.2 均值的估计均值的估计101NiixxNm下面评价它的估计质量。下面评价它的估计质量。对于样本数据：对于样本数据：xi(i=0,1,2,N-1)，均值的估均值的估计用下式计算：计用下式计算：1.1.偏移偏移 xxmEmBxmEB=0，说明这种估计是无偏估计，说明这种估计
32、是无偏估计101NiixNE101NiixENxm2.2.估计量的方差与均方误差估计量的方差与均方误差 )(22xxmmEmEx 在计算上式时，与数据内部的相关性有关，先假在计算上式时，与数据内部的相关性有关，先假设数据内部不相关设数据内部不相关 jijijixExExxE10102221NiijjiNiixxxExENmE222)11(xximmNNxEN2xmE22xxmmE101021NiNjjixxEN2211ximNNxEN2211ximNxEN21xN2xm101NiixxNm)1)(1(1010NjjNiixNxNE上式表明，估计量的方差随观察次数上式表明，估计量的方差随观察次数
33、N N增加而减少，增加而减少，当当NN时，估计量的方差趋于时，估计量的方差趋于0 0。B B=0，当当N N时，时，是一致，是一致估计。结论是：当数据内部不相关时，按照上式估估计。结论是：当数据内部不相关时，按照上式估计均值，是一种无偏的一致估计。计均值，是一种无偏的一致估计。02xm02xmmE当数据内部存在关联性，会使一致的效果下降，估计当数据内部存在关联性，会使一致的效果下降，估计量的方差比数据内部不存在相关情况的方差要大量的方差比数据内部不存在相关情况的方差要大222xmxBmE估计量的估计量的均方误差均方误差为为 已知已知N N点观测数据点观测数据xi(i=0,1,2,N-1)，假设
34、数据之假设数据之间不存在相关性，且信号间不存在相关性，且信号的均值的均值mx已知，方差估计：已知，方差估计：1022)(1NixixmxN但实际中但实际中mx是不知道的。下面分析数据之间不存在相是不知道的。下面分析数据之间不存在相关关性，均值也不知道的情况下，方差的估计性，均值也不知道的情况下，方差的估计1022)(1NixixmxN1.3.3 1.3.3 方差的估计方差的估计 可以证明这是一致估计。可以证明这是一致估计。偏移性偏移性102221NixiximxEmExEN式中的第二项已经推出，下面推导第三项：式中的第二项已经推出，下面推导第三项：101NjjixixxENmxE1022)(1
35、NixixmxNEE22211xixmNNxENmE10211NijjjiixxENxEN10211NijjjiixExENxEN2211ximNNxEN2xE21xNN22211xxxmNNxENxE是有偏估计，但是渐进无偏。是有偏估计，但是渐进无偏。1022)(11 NnxnxmxN之间的关系是之间的关系是 2x和和 2 x221 xxNN221xxNNE为了得到无偏估计，可以用下式计算：为了得到无偏估计，可以用下式计算：1022)(1NixixmxN 如果数据之间存在相关性，按照上式计算方差，如果数据之间存在相关性，按照上式计算方差，可以证明是有偏估计可以证明是有偏估计，但是渐近无偏估计
36、。，但是渐近无偏估计。1.3.4 1.3.4 随机序列自相关函数的估计随机序列自相关函数的估计 1.1.无偏自相关函数的估计无偏自相关函数的估计写成一个表达式：写成一个表达式：1|0)()(|1)(mNnxxmnxnxmNmr10)()(1)(mNnxxmnxnxmNmr0mN-1 1-N m 0)()(mrmrxxxx分析这种自相关函数的估计质量分析这种自相关函数的估计质量)()(mrmrEBxxxx1|0)()(|1mNnmnxnxEmNB=0，是无偏估计，是无偏估计)()()(var2mrEmrEmrxxxxxx估计量的方差估计量的方差:)()(22mrmrExxxx偏移性：偏移性：)(
37、mrxx)()(|1)(1|0mNnxxmnxnxmNEmrE只有当只有当N N m，N N时，估计量的方差才趋于时，估计量的方差才趋于0，当当mNN时，方差将很大。不是一种好的估计，虽然时，方差将很大。不是一种好的估计，虽然是无偏估计，但不是一致估计。是无偏估计，但不是一致估计。1|122)()()(|)|()(varmNNmrxxxxxxxxmrrmrrrrmNNmr)()(1)(1|0mnxnxNmrmNnxx对比无偏估计公式，不同的是求平均时只用对比无偏估计公式，不同的是求平均时只用N N去除。去除。2.2.有偏自相关函数的估计有偏自相关函数的估计有偏自相关函数与有偏自相关函数与无偏自
38、相关函数的关系式为：无偏自相关函数的关系式为：)(|)(mrNmNmrxxxx)(|)(mrNmNmrExxxx说明说明 是有偏估计，但是渐近无偏，其偏移是有偏估计，但是渐近无偏，其偏移)(mrxx)(|mrNmBxx两种估计的方差关系为两种估计的方差关系为 )(var|)(var2mrNmNmrxxxx将无偏估计的方差公式代入将无偏估计的方差公式代入,得有偏估计的方差得有偏估计的方差 )()()(1)(var21|1mrrmrrrrNmrxxxxxxmNNmrxx)(var)(varmrmrxxxx 虽然是有偏估计，但是渐近一致估计，估计量虽然是有偏估计，但是渐近一致估计，估计量的方差小于无
39、偏估计的方差。因此实际中多采用这种的方差小于无偏估计的方差。因此实际中多采用这种有偏自相关函数估计。有偏自相关函数估计。)(mrxx当当NN时时,0)(varmrxx1|122)()()(|)|()(varmNNmrxxxxxxxxmrrmrrrrmNNmr相关函数应用举例相关函数应用举例1.4 1.4 平稳随机序列通过线性系统平稳随机序列通过线性系统 1.4.1 1.4.1 系统响应的均值、自相关函数和平稳性分析系统响应的均值、自相关函数和平稳性分析kknxkh)()(输入是平稳随机序列输入是平稳随机序列kxykhmm)(设线性系统是稳定非时变的，其单位脉冲响应为设线性系统是稳定非时变的，其
40、单位脉冲响应为h(n),输入是平稳随机序输入是平稳随机序列列x(n)，系统的输出为，系统的输出为 )(nyEmy)()()(nhnxnykknxEkh)()(xmknxE)()(0 jeHmx输出输出的均值为的均值为 输出输出的自相关函数为的自相关函数为 )()(*),(mnynyEmnnryyx(n)是平稳的是平稳的)()()(*rkmrrmnxknxExx)()()(),(*rkmrrhkhmnnrxxrkyy)()()()(*rmnxrhknxkhErk)()()()(*rmnxknxErhkhrk)(mryy输出是平稳随机序列输出是平稳随机序列令令 l=r-kklxxklhkhlmr)
41、()()(*kklhkhlv)()()(*v(l)称为称为h(n)的自相关函数的自相关函数，可以将可以将v(l)写成卷积形式写成卷积形式)()()()(*rkmrrhkhmrxxrkyy)()(mvmrxx)()(lvlmrlxx线性系统输出的自相关函数等于输入的自相关函数与线性系统输出的自相关函数等于输入的自相关函数与线性系统单位脉冲响应的自相关函数的卷积。线性系统单位脉冲响应的自相关函数的卷积。)()()()()(*lhlhlhlhlv1.4.2 1.4.2 输出响应的功率谱密度函数输出响应的功率谱密度函数*1)()(zHzHzV)()()(*lhlhlv*1)()()(zHzHzPzPx
42、xyyz将将 代入，得到输出功率谱：代入，得到输出功率谱：jez)()()()(*jjjxxjyyeHeHePeP2)()(jjxxeHeP)()()(zVzPzPxxyy)()()(mvmrmrxxyyzdej)(21)0(yyyyPr0|)(|)(21)0(2deejjHPrxxyy2)()()(jjxxjyyeHePeP利用上式证明功率谱密度函数的非负性利用上式证明功率谱密度函数的非负性de-mjjyyyyePmr)(21)()()0(2nyEryy)()()(mnynyEmryy随机序列的平均功率随机序列的平均功率 0)()(jyyyyePmr00)(1dPbaxxje故故Pxx(ej
43、)0，信号的功率谱是实、，信号的功率谱是实、偶、非负函数偶、非负函数0|)(|)(212deejjHPxx 和和 均是均是的偶的偶函数函数)(jxxeP2)(jeHbaab2)(ejH10理想带通滤波器的幅度特性理想带通滤波器的幅度特性 假设系统的幅度特性如下图所示假设系统的幅度特性如下图所示线性非时变系统输入与输出之间互相关函数为线性非时变系统输入与输出之间互相关函数为 )()()(*mnynxEmrxy设设x(n)是零均值平稳随机序列，上是零均值平稳随机序列，上式的式的z变换为变换为 )()()(zPzHzPxxxy输入、输出的互功率谱表示为输入、输出的互功率谱表示为 )e()e()e(j
44、jxxjxyPHP1.4.3 1.4.3 系统的输入、输出互相关函数系统的输入、输出互相关函数kxxkmrkh)()()()()(*kkmnxkhnxE)()(mrmhxx输入、输出互相关定理输入、输出互相关定理：输入、输出互相关函数等于：输入、输出互相关函数等于系统的单位脉冲响应与输入自相关函数的卷积。系统的单位脉冲响应与输入自相关函数的卷积。将系统输出的自相关函数公式重写：将系统输出的自相关函数公式重写：)(*)()(mvmrmrxxyy该公式用语言叙述如下：该公式用语言叙述如下：x(n)与与h(n)卷积的自相关函数卷积的自相关函数等于等于x(n)的自相关函数和的自相关函数和h(n)的自相
45、关函数的卷积。的自相关函数的卷积。1.4.4 1.4.4 相关卷积定理相关卷积定理)()()(*kmhkhmvk或者简单地说：或者简单地说：卷积的相关等于相关的卷积卷积的相关等于相关的卷积)(*)()(nbnane)(*)()(ndncnf)(*)()(mrmrmrbdacef例例1.4.1 1.4.1 假设系统的输入、输出和单位脉冲响应分别假设系统的输入、输出和单位脉冲响应分别用用x(n)、y(n)和和h(n)表示，试求输入、输出互相关函数表示，试求输入、输出互相关函数和输入自相关函数之间的关系。和输入自相关函数之间的关系。)(mh解解 按照相关卷积定理，得到按照相关卷积定理，得到 )()(
46、mrmrxxxy)()()(nhnxny)()()(nnxnx)()()(mrmrmrhxxxylhmlhlmr)()()(*输出、输入互相关函数和输入自相关函数之间的关系：输出、输入互相关函数和输入自相关函数之间的关系：)()()(mhmrmrxxxy这就是已经推导出的输入、输出互相关卷积定理。这就是已经推导出的输入、输出互相关卷积定理。)(mryx)()(mhmrxx)()(mhmrxx)()()(1zHzPzPxxyx)(mrxy解：解：例例1.4.2 1.4.2 按照下图，推导两个系统的输出互相关函数按照下图，推导两个系统的输出互相关函数与输入互相关函数之间的关系。与输入互相关函数之间
47、的关系。H1(z)H2(z)x1(n)x2(n)y1(n)y2(n)()(2121mrmrxxyy)()()(222nhnxny)()()(111nhnxny)()()(212121mrmrmrhhxxyy按照相关卷积定理按照相关卷积定理,有有 )(21mrhh)(21zPyynnmhnh)()(2*1)()(2*1mhmhnnmhnhmhmh)()()()(2121nmnhnh)()(2*1)()()(212121mrmrmrhhxxyy)(*12*1zHzH)(21zPxx例例1.4.3 1.4.3 已知实平稳白噪声已知实平稳白噪声x(n)的功率谱是的功率谱是2x，使通，使通过一个过一个q
48、阶的阶的FIRFIR网络，求输出自相关函数网络，求输出自相关函数ryy(m)、功、功率谱率谱Pyy(ej)、互相关函数、互相关函数rxy(m)和互功率谱和互功率谱Pxy(ej)qnnnzbzH0)(网络输出的功率谱为：网络输出的功率谱为：解：解：2|)(|)()(jjxxjyyeHePePq阶阶FIRFIR网络的传输函数为：网络的传输函数为：qnnjnjebeH0)()()(jyyyyePmr)()(jxyxyePmr2|)(|)()(jjjeeeHPPxxyy202qnnxbnj-e20202)()(qnnqnnxnbnbsincos)cos()cos()(cos000222jnbbnbqn
49、qnjjjnqnnxcbcabcbaacabcbacba2222)()sin()sin()(sin00022jnbbnbqnqnjjjnqnn)cos(00022qnqnjjjnqnnxjnbbbqnqnjjjnqnnqnnaaaa111221)()(2)(002022jnmjnmbbmbqjnnqjjnxqnnx)(m)cos(q)(qmqje输出信号的自相关函数有限长，存在于输出信号的自相关函数有限长，存在于q之间。之间。)()(21qmqm1)(mryy2)(qjqjee)cos()(00022qnqnjjjnqnnxjyyjnbbbePqnqnnnxnbjnbb1102)sin()co
50、s(同样方法，可求出互功率谱和互相关函数：同样方法，可求出互功率谱和互相关函数：)()()(jjxxjxyeHePePqnnjnxeb02)(mrxy)()(21nmnm)()(21nmnmj)(mqnnxnmb02)()()()(mhmrmrxxxy)(21njnjeej)()(102qnnxnmbmb例例1.4.4 1.4.4 设实平稳白噪声设实平稳白噪声x(n)的方差是的方差是2x,均值均值mx=0，让让x(n)通过一个网络，网络的差分方程为通过一个网络，网络的差分方程为y(n)=x(n)+ay(n-1)式中式中a是实数。求网络输出的功率谱和自相关函数。是实数。求网络输出的功率谱和自相关
