1、现代数字信号处理现代数字信号处理全册全册配套课件配套课件现代数字信号处理第二章 维纳滤波 nx ns nv真实信号 观察/测量数据加性噪声/干扰 is nx nh nh i x n i nsnsne线性估计线性估计问题最小均方误差(MMSE)估计(minimum mean-square error)估计误差 2minnE e nh n2.1 维纳滤波问题描述维纳滤波-对真实信号的最小均方误差估计问题. 121003210012000100001210NxxxxhNhNhNhhhhhhhNssss 1, 1, 0,0Nninxihnsni问题在于估计滤波器的参数/单位冲激响应序列正交正交方程方程
2、 : jjnxneEjjnxneEjhneneEjhn,0, 1, 0,022标准方程标准方程 (Wiener-Hopf equations): autocorrelation sequence of cross-correlation sequence of and xxsxRmiE x ni x nmx nRmE s n x nms nx n 维纳-霍夫（Wiener-Hopf）/标准标准方程 ,sxxxiRmh i Rmim is nx nh nh i x n i nsnsne 2minnE e nh n任何时刻的估计误差都与用于估计的所有数据（即滤波器的输入）正交注意: A data-
3、dependant linear least square error estimation Wiener-Hopf equation - solutions Orthogonal equation - decorrelationWiener Filters下标i的取值范围决定了FIR,非因果IIR，因果IIR is nx nh nh i x n i TTNnxnxnxnNhhh11110 xhFIR (Finite Impulse Response) Wiener Filter2.2 求解求解 Wiener-Hopf Equations -FIR滤波器滤波器 s nnTh x 1210032
4、130122101121012101, 1, 0,10NhhhhRNRNRNRNRRRRNRRRRNRRRRNRRRRNmimRihmRxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxsxsxsxsxNixxsx nnsENRRRRsxsxsxsxxP 1210 nnERNRNRNRNRRRRNRRRRNRRRRTxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxR 0321301221011210RhPRhPTTor 维纳维纳-霍夫方程霍夫方程 展开为矩阵形式展开为矩阵形式Solution: nnnEnnsEnnnsxxxxxRPxhPRhTT1TT1opt
5、1FIR维纳滤波器结构Wiener Filters( )s m( )x m(1)x m(2)x m(1)x m p ( )s m1xx xsw R P标准方程标准方程 : dzzzHjnhzSzSzHzSzHzSnoptoptxxsxoptxxoptsx121 mimRihmRixxsx,2.3 求解求解 Wiener-Hopf Equations -非因果非因果 IIR滤波器滤波器Solution :2.4 求解求解 Wiener-Hopf Equations -因果因果 IIR滤波器滤波器标准方程标准方程 : 0,0mimRihmRixxsx zA nw nvzB1 zG ns n nx
6、nsWhitening filterOptimum causal filter for white input将IIR滤波器分解为两部分1( )( )( )H zG zB z第一部分为白化滤波器（将输入信号变为白噪声）第二部分为以白噪声为激励的最优因果滤波器。 polynomils phase minimum areboth and ,12zDzNzDzNzBzBzBzSxx功率谱分解定理is causal and optimal zG zSzGs21 iinxifn zGzBzHc12.5 .因果维纳因果维纳IIR滤波器滤波器 -具有有理功率谱的输入信号具有有理功率谱的输入信号 121zBz
7、SzBzHsxc 12111 zBzSzGzBzSzSzFzSmRmfimRifinxifmnsEnmnsEmRsxsxsxssxisxis计算步骤计算步骤(1) 因式分解（谱分解定理）因式分解（谱分解定理）(2) 分解为因果部分和非因果部分分解为因果部分和非因果部分 111zBzSzBzSzBzSsxsxsx(3) 计算系统函数计算系统函数 21111G(z)=sxcSzHzB zB zB z(4) 计算冲激响应（逆计算冲激响应（逆Z变换）变换） 12zBzBzSxx(5) 计算最小均方误差计算最小均方误差 dzzzSzHzSjncuxsoptss1.min 21第三章 卡尔曼滤波（The
8、Kalman filtering） 第一节卡尔曼滤波信号模型第二节 卡尔曼滤波方法第三节 卡尔曼滤波的应用1、信号模型信号模型状态方程和量测方程状态方程和量测方程 维纳滤波的模型：信号可以认为是维纳滤波的模型：信号可以认为是由白噪声激励一个线性系统的由白噪声激励一个线性系统的响应，假设响应和激励的时域关系可以响应，假设响应和激励的时域关系可以用下式表示：用下式表示： (6-52)上式也就是一阶上式也就是一阶AR模型。模型。 )(ns)(1nw)(zA) 1() 1()(1nwnasns 在卡尔曼滤波中信号被称为是状态变量，用矢量的形式表示为，激励信号也用矢量表示为，激励和响应之间的关系用传递矩
9、阵来表示， 得出状态方程： (6-53) 上式表示的含义就是在k时刻的状态可以由它的前一个时刻的状态来求得，即认为k1时刻以前的各状态都已记忆在状态中了 )(nsS(k)(1nw(k)w1A(k)1)(kw1)A(k)S(kS(k)1S(k)1)S(k 1)S(k卡尔曼滤波是根据系统的量测数据（即观测数据）对系统的运动进行估计的，所以除了状态方程之外，还需要量测方程。 在卡尔曼滤波中，用表示量测到的信号矢量序列，表示量测时引入的误差矢量，则量测矢量与状态矢量之间的关系可以写成 (6-54)w(k)S(k)X(k)上式和维纳滤波的概念上是一致的，也就是说卡尔曼滤波的一维信号模型和维纳滤波的信号模
10、型是一致的。把式(6-55)推广就得到更普遍的多维量测方程 (6-55)上式中的称为量测矩阵，它的引入原因是，量测矢量的维数不一定与状态矢量的维数相同，因为我们不一定能观测到所有需要的状态参数。 w(k)S(k)X(k)w(k)C(k)S(k)X(k)信号模型信号模型根据状态方程和量测方程，卡尔曼滤波的信号模型，如图6.12所示。图6.12 卡尔曼滤波的信号模型1)(kw1)A(k)S(kS(k)1w(k)C(k)S(k)X(k)S(k)C(k)1)A(k 1zw(k)(k)w1X(k)1)S(k 2、卡尔曼滤波方法卡尔曼滤波方法（The method of Kalman filtering）
11、卡尔曼滤波的一步递推法模型卡尔曼滤波的一步递推法模型把状态方程和量测方程重新给出：把状态方程和量测方程重新给出： (6-56) (6-57)假设信号的上一个估计值已知，现在的问题就是如何来求当前时刻的估计值。 1)(kw1)A(k)S(kS(k)1w(k)C(k)S(k)X(k)1)(kS(k)S 用上两式得到的和分别用和表示，得： (6-58) (6-59) 必然，观测值和估计值之间有误差，它们之间的差称为新息（innovation）： (6-60)显然，新息的产生是由于我们前面忽略了与所引起的 1)(kSA(k)(k)S1)(kSC(k)A(k)(k)SC(k)(k)XX(k)(k)X(k
12、)X(k)XX(k)(k)X(k)w1w(k) 用新息乘以一个修正矩阵，用它来代替式（656）的来对进行估计： (6-61)由（656）（661）可以画出卡尔曼滤波对进行估计的递推模型，如图6.13所示 (k)XH(k)(k)w1S(k)(k)XH(k)1)(kSA(k)(k)S1)(kSC(k)A(k)H(K)X(k)1)(kSA(k)S(k) 输入为观测值，输出为信号估计值。图1 卡尔曼滤波的一步递推法模型X(k)(k)S(k)SC(k)A(k)1zX(k)1)(kSH(k)(k)X(k)X卡尔曼滤波的递推公式卡尔曼滤波的递推公式从图1容易看出，要估计出就必须要先找到最小均方误差下的修正矩
13、阵，结合式（661）、（656）、（657）得：(6-62)根据上式来求最小均方误差下的，然后把求到的代入（661）则可以得到估计值。(k)SH(k)1)(kSC(k)A(k)w(k)(k)H(K)C(k)S1)(kSA(k)(k)S1)(kSC(k)A(k)w(k)1)(kw1)(kSA(k)H(K)C(k)1)(kSA(k)1H(k)w(k)1)(kw1)(kS(k)H(K)C(k)AH(k)C(k)1)I(kSA(k)1H(k)H(k)(k)S 设真值和估计值之间的误差为：误差是个矢量，因而均方误差是一个矩阵，用表示。把式（662）代入得 (6-63)均方误差矩阵： (6-64)表示对向
14、量取共轭转置。 (k)SS(k)(k)S(k)(k)SS(k)(k)SH(k)w(k)1)(kw1)(kS1)A(k)S(kH(K)C(k)I1(k)S(k)SE(k)为了计算方便，令 (6-65)找到和均方误差矩阵的关系： (6-66)把式（663）代入式（664），最后化简得： (k)S(k)(S(k)SE(S(k)(k)1)(kSA(k)1)(kw1)k1)(A(k)S(kSA(k)1)(kw1)E(A(k)S(k(k)111)(k1)w(kEwA(k)1)(kS1)1)(S(k(kS1)A(k)ES(k111)Q(k1)A(k)A(k)(k(k)S(k)SE(k)k)H(k)R(k)H
15、(H(k)C(k)1)IQ(k1)A(k)A(k)(kH(K)C(k)I 把式（666）代入（667）得令，代入上式化简： (6-68)要使得均方误差最小，则必须 (k)k)H(k)R(k)H(H(k)C(k)(k)IH(K)C(k)IR(k)H(k)(k)C(k)H(k)C(k)H(k)(k)C(k)(k)H(K)C(k)(k)SSR(k)(k)C(k)C(k)(k)C(k)U(k)H(k)H(k)SSUH(k)H(K)U(k)111)U(SH(k)S)U(SH(k)SU)U(SS(k)01)U(SH(k)S求得最小均方误差下的修正矩阵为： (6-69)把上式代入(6-61)即可得均方误差最
16、小条件下的递推公式。最小均方误差为： (6-70)1R(k)(k)C(k)C(k)(k)C(k)H(k)(k)S(k)1U)U(SS(k)(k)H(k)C(k)I 综上所述，得到卡尔曼滤波的一步递推公式： (6-71) (6-72) (6-73) (6-74)(k)1)Q(k1)A(k)A(k)(k1R(k)(k)C(k)C(k)(k)C(k)H(k)(k)(k)H(k)C(k)I(k)S1)(kSC(k)A(k)H(K)X(k)1)(kSA(k)【例】设卡尔曼滤波中量测方程为 已知信号的自相关函数的z变换为，噪声的自相关函数为，信号和噪声统计独立，已知在k0时刻开始观测信号。试用卡尔曼滤波的
17、公式求和，k0,1,2,3,4,5,6,7；以及稳态时的和。解：由例6-6的结果知， w(k)S(k)X(k)25. 18 . 0 ,)8 . 01)(8 . 01 (36. 0)(1zzzzRss)()(mmRww1)0(, 0) 1(S(k)S(k)(k)S(k)8 . 0A(k)1C(k)36. 021wQ(k)1)(var(kwR(k) 把上式代入式(6-71) (6-74)得 （1） （2） （3） （4）求逆把（1）代入（2）、（3）式，消去，再把（2）和（3）联立，得到 （5） (k)36. 064. 01)(k1(k)(k)H(k)1(k)(k)H(k) 1(k)S1)(kSH
18、(K)X(k)1)(kS8 . 08 . 01(k)(k)H(k)1(k) (k)1/(k)H(k)1.361)(k0.361)(k(k)64. 064. 0初始条件为，k0开始观测，利用等式（4），（5）进行递推得： k0，1.0000，1.0000， k1，0.5000，0.5000， k2，0.4048，0.4048， k3，0.3824，0.3824， k4，0.3768，0.3768， k5，0.3755，0.3755， k6，0.3751，0.3751， k7，0.3750，0.3750， 上面是递推过程，还没有达到稳态的情况。 1)0(, 0) 1(S)0()0(H)0(0X)(
19、S) 1 (）（ 1H) 1 (5 . 0) 0 (4 . 01XS)( S)2()2(H) 2(4048. 0) 1 (4762. 02XS)(S)3()3(H) 3 (3824. 0) 2(4941. 03XS)(S)4()4(H) 4 (3768. 0) 3 (4985. 04XS)( S)5()5(H) 5 (3755. 0) 4 (4996. 05XS)( S)6()6(H) 6(3751. 0) 5 (4999. 06XS)(S)7()7(H) 7 (3750. 0) 6 (5000. 07XS)( S 假设到了某一时刻k1，前后时刻的均方误差相等，也就是误差不再随着递推增加而下降
20、，达到最小的均方误差了，即稳态情况，式（5）中的误差代入（5）式可以计算到稳态时的均方误差为：即稳态时的修正矩阵，代入式4得稳态时的信号估计：化到z域有：。) 1()(kk375. 0) 1()(kk375. 0)(kHX(k)1)(kS375. 05 . 0(k)S)(zH15 . 01375. 0z卡尔曼滤波器的应用卡尔曼滤波器的应用(Application Kalman filter) 【例】已知条件和例62一样，状态方程和测量方程为： 其中 ， 信号和噪声统计独立。求卡尔曼滤波器的稳态 和 。1)(kw1)A(k)S(kS(k)1w(k)C(k)S(k)X(k)8 . 0A1C36.
21、021wQ(k)1)(var(kwR(k)H(k)(k) 解：根据函数调用sysss（A，B，C，D，1），得到离散卡尔曼状态模型，采样周期这里设为1。A，C已知，由于函数调用中是设计了两个观测信号的，我们这里只有一个观测信号，所以B取0 1，后一个1表示噪声 的系数。D取0。实际的语句如下： sys=ss(A,B,C,D,1) 然后调用函数S，L，H，kalman（sys，Q，R），设计离散卡尔曼滤波器。实际语句和计算结果如下： s，l，h，=kalman(sys,0.36,1) l =0.3000 =0.6000 h =0.3750 =0.3750 这里省略了输出的S，它表示的信息是达到稳
22、态后系统状态模型，H和 表示系统稳态的最终值 ) 1(1kw 有了修正矩阵和均方误差，代入式（674）就可以根据观测信号得到卡尔曼滤波的估计值了。 从上面例题知道，只要确定了状态模型，就可以调用函数很快设计出卡尔曼滤波器，下面来看看卡尔曼滤波器在生物医学信号中的应用。 在生物医学信号处理中脑电图的肌电伪迹和其它噪声的消除，以及诱发电位的提取都有研究者尝试用卡尔曼滤波器来处理。本节介绍卡尔曼滤波器在诱发电位提取中的应用，方法如下：1.自发电位模型（EEG）和诱发电位（EP）模型的建立。如图6.14所示，EEG信号通过用AR模型建立，激励是白噪声，EP信号的激励是单位脉冲序列，用等式表示如下： 阶
23、AR模型d表示从该时刻开始有单位脉冲刺激。 pnwineaneEEGpii),()()(:1qiimiiidndinscnsEP01)()()(: 图2 EEG和EP模型 从图2知道，观测信号是EEG和EP的线性相加，用 表示第i次刺激后测量的信号，对M次测量平均得： 叠加平均后的信号长度为N。利用先验知识建立好图6.14的模型。假设单次诱发信号和平均诱发信号的关系是延时和幅度变化但波形一致的情况，即)(nyi1, 1, )(1)(1NdddnnyMnyMii)()(jjjnnsAns2.卡尔曼状态方程和量测方程的建立。 其中X X表示状态变量，包括诱发信号、单位脉 冲信号、自发信号，长mpq
24、1 A 是系统矩阵， 为输入矩阵 是噪声矩阵 是测量噪声 是输出矩阵 1)Dw(k1)d(kB1)AX(kX(k)V(k)CX(k)Y(k)p)e(k1),e(kq),d(kd),(km),S(k1),S(k1)(kXkia, 0000100 BkidD,00100001 C)(kV 有了上述方程后就可以利用卡尔曼滤波公式对 进行估计，由于它包含多种状态，诱发信号和它的关系为： 自发信号和估计值的关系为： 其中kmin（m，p）。)(kX1)k(nx(n)sk 1)k(nx(n)e1qmk3.设计好了卡尔曼滤波器后对数据处理的结果如图6.15所示。现代数字信号处理第四章：自适应滤波器内容 1.
25、 自适应滤波器原理 2. 自适应线性组合器 3. 均方误差性能曲面 4. 最陡下降算法 5. LMS算法 6. RLS算法 7. 典型应用：噪声消除自适应算法理论分析1。 自适应滤波原理自适应滤波原理1.学习和跟踪（时变信号）2.带有可调参数的最优线性滤波器两输入两输出Two inputs and two outputs; FIR,IIR, and 格形（Lattice） 最小均方误差和最小平方误差准则 nx ny nd线性滤波器性能评价自适应方法 ne输入信号输出信号期望响应误差滤波器参数)() 1()(nWnWnWoldnew3. 自适应滤波器的性能(1)失调量（Misadjustment
26、）(2)计算复杂度（Computational complexity）(3)对时变统计量的跟踪能力(4)结构上：高模块性，并行性等（是否适合硬件实现）(5)收敛速度(6)数值特性：数值稳定性（对字长效应不敏感），数值精确性 (7)鲁棒性：对噪声干扰不敏感，小能量干扰只能造成小估计误差本章主要讨论自适应线性组合器（其分析和实现简单，在大多数自适应滤波系统中广泛应用）。多输入多输入自适应线性组合器 Lkkknxnwny02。 自适应线性组合器自适应线性组合器一类具有自适应参数的FIR数字滤波器。单输入单输入自适应线性组合器 Lkkknxnwny0 Lkkknxnwny0 Lkkknxnwny0 T
27、Lnwnwnwn10w min2neEnnyndnennnnnywxxwTT TLnxnxnxn1x TLnxnxnxn10 x多输入单输入 nnnndEnwPRwwTT2 LmmnxndEnxndEmPLPPPnndELmmnxnxEnxnxEmRRLRLRLRRRLRRRnnEmTmiixxxxxxxxxxxxxxxxxxxx, 1, 0,10, 1, 0,0110110 xPxxRT输入信号输入信号x的自相关矩阵的自相关矩阵R，期望信号，期望信号d和输入信号和输入信号x的互相关矩阵的互相关矩阵P3. 均方误差性能曲面均方误差性能曲面单权重情况单权重情况: 抛物线抛物线性能曲面 nwPnw
28、RndEnPRnwn020200200 , 0PRw两个权系数两个权系数: 抛物面抛物面 nwPnwPnwnwRnwnwRndEnwnwPPnwnwRRRRnwnwndEnPPRRRRnwnwnT1010212021010102101202120102011010 , 0110 PRw权系数数目大于两个情况：超抛物面权系数数目大于两个情况：超抛物面 个权系数: 一个 维空间内的超抛物面 “碗底”点对应于均方误差最小点，也就是最优权系数矢量 所在的点。对于一个二对于一个二次性能方程，存在唯一全局最优权矢量，没次性能方程，存在唯一全局最优权矢量，没有局部最优点存在有局部最优点存在.1L2Lw梯度，
29、最优权矢量和最小均方误差梯度，最优权矢量和最小均方误差 很多自适应方法使用基于梯度的方法寻找可以达到最小均方误差的权矢量。均方误差性能曲面均方误差性能曲面的梯度梯度定义为： PRww22 10nnwnnwnnwnnnnTL最优权重矢量最优权重矢量处梯度为零： PRwPRw1 022nn最小均方误差：最小均方误差： wPPRPPR2PPRRPRw2PRwwT1T1T1TTTndEndEndEndE22122min 与维纳滤波器的最小均方误差比较:1T1RR 2min2 E s nE s nT1ToptP R PP hThe same equations背离矢量（背离最优权重）背离矢量（背离最优权
30、重）均方误差性能方程可写为另一种形式： wPRwwTTndEn2权重背离矢量权重背离矢量:wwv在 坐标系统中的性能曲面方程 wwRwwTminn RvvTminnv为了使 对于所有可能的 值为非负，有必要使所有 满足 。 也就是说 必须是正定或者半正定。在实际的系统中，矩阵 总是正定的，有时半正定情况也会出现。Rvv2 梯度: 矢量 是权重矢量 对维纳最优权矢量 的背离。 任何背离都会导致均方误差的一个增加量vwwRvvTRvvTminv0RvvTvRR4. 最陡下降法 基本思想：搜索性能曲面理想情况下（梯度可知）: 使用基于梯度的方法（最陡下降法）实际情况（梯度多数不可知）: LMS方法（
31、the Least-Mean-Square algorithm ） RLSRLS方法（方法（Recursive Least-Square AlgorithmRecursive Least-Square Algorithm）)()()() 1(2nWneEnWnW演示1: 基于梯度搜索均方误差曲面的最小点 nnnww1 为一个控制收敛速度和稳定性的常数称为自适应步长步长。演示2:方程两边同减最优权矢量11LTxxnnnnRQ Qq q几个不同形式的权重更新方程 nnnnnnnnnnnnnnnnvIvvQvvQIvQvQIQvvQQIvvRIvwwvwRwwRIww1111121 21212121
32、 22 1 1 22 2 122nnnnnnnnn 1wwRwPwRwPwR PwIR wRw nvnvnvnvnvnvLLL211211211111000 1 20 ,1,2,nkkkv nvkL 20nnvIv 12nnvIvlim( )lim ( )lim( )nnnnnnwwv0v0lim20; lim 1 20 0, 1,nnknnkLImax10 2max00trLLkkkkE x nR 10trR稳定和收敛条件：稳定和收敛条件：可证明：自适应过程的稳定性max10 optoptTWWVWWQV0: )(Lkvnvknkk, 2 , 1),0(21)(Lkwhennvkkn, 2
33、, 1, 121, 0)(lim最优点:时间迭代:稳定条件:The deepest-descend method实际应用中选取: 2110111( )LLkikiTr RE xn收敛速率 滤波器参数的收敛速度决定于自滤波器参数的收敛速度决定于自适应步长的选择适应步长的选择 在在主轴系统主轴系统中参数沿着各个参数中参数沿着各个参数坐标轴独立收敛。各个坐标轴的坐标轴独立收敛。各个坐标轴的收敛速度被各自的几何比收敛速度被各自的几何比 r 控制。控制。 需要注意的是，需要注意的是，在自然坐标系中在自然坐标系中各个参数各个参数w w并不是独立收敛的并不是独立收敛的。这是我们为什么要变换坐标系到这是我们为
34、什么要变换坐标系到主轴系统进行收敛分析的原因。主轴系统进行收敛分析的原因。)0(21)(knkkvnvkkLLrrrr212121211100kkr21几何比 r 和自适应步长对收敛的影响：稳定(收敛)过阻尼临界阻尼欠阻尼不稳定 (不收敛)10210211210 , 11r01r10 r0r1r几何比和自适应步长对收敛的影响： 1112001, 101112nnv nvr vv nrerevr (1)权系数衰减时间常数权系数衰减到初始值的 需要花费的时间。收敛速度：几个时间常数收敛速度：几个时间常数1e 2222minmin2min1222min11min01 20001, 10211 ()2
35、 124msemsemsennmsemsenvvrvnrererer 通常为迭代次数(2) 学习曲线时间常数学习曲线时间常数即均方误差与最小均方误即均方误差与最小均方误差的差值下降到初始差值差的差值下降到初始差值的的 时所花费的时间。时所花费的时间。1emse(3) 自适应时间常数（用时间衡量学习曲线常数）frequency) sample( iteration)each for samples data( numberiteration wheresec , 1 smsesmsemsefNfNT注意 最陡下降法具有更多的理论分析意义，实际操作时我们必须对其做很多近似。Least-Mean-S
36、quare Algorithm 最陡下降法在每次迭代时要求得到性能曲面梯度的估计值。 LMS 方法使用一个特别方法估计这个梯度（这个梯度对于自适应的线性组合器是有效的） LMS 方法的优势在于: (1) 计算简单方便 (2) 不需要离线的梯度估计或者数据副本 如果自适应系统是一个自适应线性组合器，并且输入矢量和期望响应在每次迭代时都可以得到，那么LMS方法通常是一个最好选择。5. LMS 方法方法 nnennnnnnmethoddescentsteepestThennenenennnnnnnnenneEnxwwwwxwww2 1: 2222 ( )e nd ny nd nnnTxwLMS 方法
37、推导方法推导使用单次计算的估计误差平方代替平方误差的期望。 LMS使用单次误差代替误差平均，造成梯度和权矢量成为围绕真值的随机变量。 nnennnnnyndnennnyxwwwwwxT2 ,1LMS 自 适 应 滤 波 器 nxnxnenwnwnwnwnwnwnT10101010211w2输入线性组合器举例 22 2 2 0EnE e nnEnd ny nEnnnd nnnBnEn TxxxxwRwPLMS方法对方法对梯度梯度的估计的均值为真实梯度的估计的均值为真实梯度估计量的期望值与真实梯度的偏差为0。所以为无偏估计 RwwRIRwPPwRIwxxPwwxxxwxwwTT22 22 22 2
38、2 21nEnEnEnnEnEnnnEnndEnEnneEnEnE RwwRIw221nn RwwRIw22 1nEnE nnennxww21 nnndnewxT最陡下降法LMS权矢量的均值权矢量的均值等于最陡下降法得到的权矢量等于最陡下降法得到的权矢量020406080100120140160180200-0.500.511.5020406080100120140160180200-0.500.511.5最陡下降LMS 单次020406080100120140160180200-0.500.511.5020406080100120140160180200-0.500.511.5最陡下降LMS
39、 多次平均 RwwRIw22 1nEnE RwwRIw221nn wwRIww02nn121kkrmax10 wwRIww02nnE LkknxE02 tr,tr10RR收敛条件收敛条件(1) 在最小均方误差点在最小均方误差点 附近的附近的梯度估计误差梯度估计误差min nNnn nnennNnx2 , 0(around )min(梯度估计噪声 ) nN minminmin2244 cov cov44 4covQRQQQQQQQRxxxx11111TTnNnNnNEnNnNEnNnnEneEnnneEnNnNEnNTTT权矢量噪声权矢量噪声 1, 2nnnne nn wwwwx(2)在最小均方
40、误差点在最小均方误差点 附近的权矢量估计误差附近的权矢量估计误差min 012lim12022121 11010knNnknNnnNnnnNnnnNnnnNnnnnnnkknnkknIvIvIvvIvvRIvwwww(3)在最小均方误差点在最小均方误差点 附近的附近的权矢量噪声方差权矢量噪声方差 min 112nNnnvIv IQvQvIvvIvvIvvIIvvIvvIvIvIvvvwwww22min1min1min122222222covcovcov4covcovcov2 11112 11112 211112 11112 112 112 E cov1nnnNnnNnnNnNEnnEnNnNn
41、nEnnNnNnnNnNnnEnNnnNnnnEnnNnnnNnnnnnTTTTTTTTTTT梯度估计噪声的存在，使得收敛后的权矢量在最佳权矢量的附近随机起伏。这意味着稳态的均方误差值在 附近随机的改变。这个偏移量的期望值偏移量的期望值称为超量EMSmin LkkknvEnnEnnEEexcessMSE02min vvRvvTT失失 调调 量量 (1) 超量EMS（Mean-Square Error） RIvvvTtr covmin0min02min22120min211011210101020LkkLkkkLLLLLLnvEexcessMSEnvEnvEnvEnvEnvnvEnvnvEnvn
42、vEnvEnvnvEnvnvEnvnvEnvEnnEn Rtrmin0minLkkexcessMSE RtrminexcessMSEMavavmseLkkmseavmseLkkavLL41 ,11 ,1100 avLkkL1tr0RavmseLM41(2) 失调量 M实际应用中，失调量，收敛速度和权系数的个数往往需要作一个折中，因此这个方程很有用。 通常自适应过程在大概4倍学习曲线时间常数内基本结束。 因此，失调量可认为等于权重数目比上过渡时间权重数目比上过渡时间（4倍时间常数）。特殊情况下所有特征值都相等：特殊情况下所有特征值都相等：mseavmseLLM4141msemseLmsemse1
43、0设计滤波器时的考虑设计滤波器时的考虑 trMR14 trmseLR假设要求失调量小于10，则过渡时间应当比权重数目大10倍。6. 自适应的递归最小二乘方自适应的递归最小二乘方(RLS)算法算法 维纳滤波器的一种时间递归时间递归形式(收敛速度快)n维纳滤波器nRLS 自适应滤波器min)(2neE1xxxdW R P20( )minnn kke k遗忘因子 新数据比旧数据更加重要min)(02nkknke 100( )( )( )( )( )( )nnkTknnkxdknnnnkknd kkwRPRXXPX( )( ), (1), ()Tkx kx kx kpX10 T01,pnw n w n
44、wnw P0iiy kw k x kikkkkTTwxxw e kd ky k自相关矩阵：( )(1)( )( )TxxxxnnnnRRXX( )(1)( ) ( )xdxdnnn d nPPX互相关矢量:自相关矩阵逆的迭代形式：11)()() 1()(nXnXnRnRTxxxx相关的递归递归形式形式0( )( )( )nnkxdknd kkPX0( )( )( )nn kTknkkRXXBCBCCDBCBACCDBATTT1111A 和 B 是两个正定矩阵)() 1()() 1()()() 1() 1()(111111nXnRnXnRnXnXnRnRnRxxTxxTxxxxxx关于矩阵逆的一
45、个定理11( )( )( )(1)( ) ( ) (1)( )(1)( ) (1)xxxdxxnnnnnn e n nnnn e n nWRPWRXWWK1111(1) ( )( )1( )(1) ( )xxTxxnnnnnnRXKXRX(1)( )(1) ( )Te n nd nnnWX滤波器增益矢量:误差信号方程:滤波器系数更新1111(1) ( )( )1( )(1) ( )xxTxxnnnnnnRXKXRX(1)( )(1) ( )Te n nd nnnWX滤波器增益矢量:误差信号方程:输入信号:)(),(ndnx初始值:1( ),(0)nIRI WW滤波器参数更新:( )(1)( )
46、 (1)nnn e n nWWK1111( )(1)( )( )(1)TxxxxxxnnnnnRRKXR相关矩阵逆更新:RLS 自适应方法small positive constant1111(1) ( )( )1( )(1) ( )xxTxxnnnnnnRXKXRX(1)( )(1) ( )Te n nd nnnWX( )(1)( ) (1)nnn e n nWWK7. 典型应用：噪声消除1n0ny 0nsAdaptive FilterAdaptive algorithmse 参考信号输出输入信号（信号噪声）误差信号W0),(, 0),(, 0),(010syEnsEnnEmin)(min)
47、()(20202202ynEynEsEynsEeEsynseny00没有回声控制的远程电视会议系统Applications使用自适应回声抵消器抵消回波ApplicationsRef.: B.Widrow and S.D. Stearns: Adaptive Signal ProcessingB说话声音B声音回声第五章 数字滤波器的基本概念 及一些特殊滤波器5.3 5.3 简单滤波器的设计简单滤波器的设计5.2 5.2 理想数字滤波器理想数字滤波器5.4 5.4 数字谐振器数字谐振器5.8 5.8 梳状滤波器梳状滤波器5.9 5.9 正弦波发生器正弦波发生器5.5 5.5 数字陷波器数字陷波器5
48、.7 5.7 最小相位滤波器最小相位滤波器5.6 5.6 全通滤波器全通滤波器特殊滤波器特殊滤波器5.1 5.1 数字滤波器的基本概念数字滤波器的基本概念5.1 数字滤波器的基本概念1.数字滤波器与数字滤波滤波的涵义：滤波的涵义： 将输入信号的某些频率成分或某个频带进行压缩、放大; 对信号进行检测; 对参数估计;数字滤波器：数字滤波器：通过对输入信号的进行数值运算的方法来实现滤波模拟滤波器：模拟滤波器：用电阻、电容、电感及有源器件等构成滤波器对信号进行滤波2.数字滤波器的实现方法 用软件在计算机上实现 用专用的数字信号处理芯片 用硬件返回返回3.数字滤波器的可实现性要求系统因果稳定 设计的系统
49、极点设计的系统极点全部集中全部集中 在单位圆内。在单位圆内。要求系统的差分方程的系数或者系统函数的系数为实数 系统的零极点必系统的零极点必须共轭成对出现，或者是实数。须共轭成对出现，或者是实数。4.数字滤波器的种类现代滤波器经典滤波器滤波特性数字高通、数字低通、数字带通、数字带阻；返回返回实现方法无限脉冲响应滤波器无限脉冲响应滤波器，简称IIR (Infinite Impulse Response)，它的单位脉冲响应为无限长，网络中有反馈回路。其系统函数为：有限脉冲响应滤波器有限脉冲响应滤波器，简称FIR (Finite Impulse Response)它的单位脉冲响应为有限长，网络中没有反
50、馈回路。其系统函数为： 10,NnnHzh nzh n式 中是 其 单 位 脉 冲 响 应011MrrrNrrrbzHzaz返回返回理想滤波器是一类很重要的滤波器，对信号进行滤波能够达到理想的效果，但是他只能近似实现近似实现。设计的时候可以把理想滤波器作为逼近标准用。本节主要讲述：5.2 理想数字滤波器5.2.1 理想数字滤波器的特点及分类5.2.2 理想滤波器的可实现性返回返回理想滤波器的特点特点： 在滤波器的通带内幅度为常数（非零），在滤波器的通带内幅度为常数（非零），在阻带中在阻带中幅度为零；幅度为零； 具有线性相位；具有线性相位； 单位脉冲响应是非因果无限长序列单位脉冲响应是非因果无限
