1、1第三章第三章 自适应滤波器自适应滤波器2 前面讨论了前面讨论了Wiener滤波和滤波和Kalman滤波，滤波，Wiener滤波器的参数是固定的，仅适用于平稳随滤波器的参数是固定的，仅适用于平稳随机信号；机信号；Kalman滤波器参数是时变的，适用于非滤波器参数是时变的，适用于非平稳和平稳随机信号。要设计这两种滤波器，必平稳和平稳随机信号。要设计这两种滤波器，必须对信号和噪声的统计特性有先验知识。在实际须对信号和噪声的统计特性有先验知识。在实际中，常常无法预先知道这些统计特性，或者它们中，常常无法预先知道这些统计特性，或者它们是随时间变化的，从而不能用是随时间变化的，从而不能用Wiener滤波
2、方法实滤波方法实现最优滤波。现最优滤波。3自适应滤波器可以自动调节自身的参数，而在自适应滤波器可以自动调节自身的参数，而在设计时只需要很少的、或者根本不需要任何关于信设计时只需要很少的、或者根本不需要任何关于信号和噪声的先验统计知识，这种滤波器的实现几乎号和噪声的先验统计知识，这种滤波器的实现几乎像像Wiener滤波器那样简单，而性能几乎如滤波器那样简单，而性能几乎如Kalman滤滤波器一样好。因此在信号和噪声的先验知识不完全波器一样好。因此在信号和噪声的先验知识不完全知道的情况下，只有使用自适应滤波器才能得到优知道的情况下，只有使用自适应滤波器才能得到优越性能。越性能。4基于此，自从基于此，
3、自从1967年年B.Widrow等人提出自适应等人提出自适应滤波器以来，短短几十年间，自适应滤波器发展很滤波器以来，短短几十年间，自适应滤波器发展很快，现已广泛应用于系统模型识别、通信信道的自快，现已广泛应用于系统模型识别、通信信道的自适应均衡、雷达与声纳的波束形成、心电图中的周适应均衡、雷达与声纳的波束形成、心电图中的周期干扰的减少或消除、噪声中信号的检测、跟踪、期干扰的减少或消除、噪声中信号的检测、跟踪、增强及线性预测，电视接收机的自动增益控制、自增强及线性预测，电视接收机的自动增益控制、自动频率微调。动频率微调。5 本章安排本章安排:原理原理 的求解的求解 自适应对消自适应对消 自适应滤
4、波自适应滤波 其他应用其他应用*W6应用举例应用举例自适应滤波器自适应滤波器的组成的组成自适应横向滤波器自适应横向滤波器 自适应时域滤波自适应时域滤波 自适应格型滤波自适应格型滤波器器自适应空域滤波自适应空域滤波(自适应阵列自适应阵列)最小二乘自适应滤波最小二乘自适应滤波可编程滤波器（滤波部分）可编程滤波器（滤波部分）自适应算法（控制部分）自适应算法（控制部分）71.可以根据误差（或其他参数）的大小自动调整；可以根据误差（或其他参数）的大小自动调整；2.采用采用MMSE误差准则，最终解是误差准则，最终解是Wiener解；解；3.不需要任何关于信号和噪声的先验知识；不需要任何关于信号和噪声的先验
5、知识；4.适用于非平稳随机过程。适用于非平稳随机过程。自适应滤波器的特点自适应滤波器的特点8 1.更新，权系数的更新公式更新，权系数的更新公式 2.收敛及收敛速率收敛及收敛速率 自我调节自我调节:校正项；校正项；误差大误差大,调节量大；误差小调节量大；误差小,调节量小；误差足够小调节量小；误差足够小,停止调节；停止调节；3.最佳滤波，收敛后的权向量应等于最佳权向量。最佳滤波，收敛后的权向量应等于最佳权向量。1kwkw 三大要求三大要求9通信信道的自适应均衡；通信信道的自适应均衡；雷达与声纳的波束形成；雷达与声纳的波束形成；减少或消除心电图中的周期干扰；减少或消除心电图中的周期干扰；噪声中信号的
6、检测、跟踪、增强及线性预测。噪声中信号的检测、跟踪、增强及线性预测。应用应用103.2 自适应横向滤波器自适应横向滤波器11基本原理基本原理)()()()()()()(nynsnsnsnyndnemin2)(neE12FIR网络：理论上可以绝对收敛到最小；网络：理论上可以绝对收敛到最小；IIR网络：网络：(全局最小点全局最小点)不止一个，一般选用不止一个，一般选用方程误差最小；本课程不涉及。方程误差最小；本课程不涉及。13一、自适应线性组合一、自适应线性组合器和自适应器和自适应FIR滤波器滤波器14输入为输入为N个不同的信号源个不同的信号源15同一信号源延时后的输出同一信号源延时后的输出161
7、.矩阵表示式矩阵表示式1710)()()()()(Nmmnxmwnwnxny令令 1 mijTjjjTjjjjjTNjjjjTNjjjjjTjjTjNiijjijXWdWXdydexxxXwwwWXWWXxwjyy,)(21211182.最小均方误差和最小均方误差和最佳权系数最佳权系数19性能函数表面性能函数表面2222()()2 TjjjjjTTTjjjjjjjjE eE dyE dXWE dE dXWWE XXW20令令12,TdxjjjjjjjNjRE dXE d xd xd xjxxTjjTdxjjNjNjjNjjNjNjjjjjjNjjjjjjTjjxxWRWWRdEeExxxxxx
8、xxxxxxxxxxxxEXXER22221222121211121输入信号自相关矩阵的输入信号自相关矩阵的特征值及其性质特征值及其性质221.R的所有特征值是实的并且大于等于零；的所有特征值是实的并且大于等于零；2.对于不同特征值的特征向量相互正交；对于不同特征值的特征向量相互正交；3.特征向量矩阵特征向量矩阵Q 可以归一化（正交化），可以归一化（正交化），并满足并满足IQQT23 性能函数是权系数的二次函数，存在极小性能函数是权系数的二次函数，存在极小值，如果信号是平稳的，并具有不变的统计特值，如果信号是平稳的，并具有不变的统计特性，则性能函数的形状将保持不变，并且在它性，则性能函数的形状
9、将保持不变，并且在它的坐标系中保持固定。自适应过程将从性能表的坐标系中保持固定。自适应过程将从性能表面的某点出发，向下运动至最小点附近，最后面的某点出发，向下运动至最小点附近，最后停在那儿。停在那儿。24如果信号是非平稳的，并具有慢变化的统如果信号是非平稳的，并具有慢变化的统计特性，可将性能表面视为计特性，可将性能表面视为”模糊的模糊的”或起伏或起伏的，或在其坐标系中移动，这样自适应过程不的，或在其坐标系中移动，这样自适应过程不仅要向下移动至最小点，而且当性能表面移动仅要向下移动至最小点，而且当性能表面移动时，还要跟踪它的最小点。时，还要跟踪它的最小点。25输入自相关矩阵的特征向量确定了误输入
10、自相关矩阵的特征向量确定了误差表面的主轴。差表面的主轴。输入自相关矩阵的特征值给出了误差输入自相关矩阵的特征值给出了误差对它的主轴的二次函数。对它的主轴的二次函数。26令令 222212,TjjjjjjjjNjE eE eE eE eWwww 基于梯度法使性能函数到达它的最小点。基于梯度法使性能函数到达它的最小点。27误差信号与轨入信号正交，误差信号与轨入信号正交，Wiener解。解。jxxdxjTjjjjjjjdxxxjdxjxxjjjWRRWXdXEeXEXeERRWRWRXeE)(02221*28 自适应横向滤波器的简化符号自适应横向滤波器的简化符号:AFjxjyje*22*min2*2
11、*2()()jTTxxjjdxjjTjdxjTxxjjE eE dRWWRWE dRWE dWR29ex:一个单输入二维权向量的自适应滤波器一个单输入二维权向量的自适应滤波器,输入输入信号信号 和期望信号和期望信号 分别为分别为:jxjd)2sin(jNxj)2cos(2jNdj求求Wiener滤波器的最佳权向量滤波器的最佳权向量 min2jeE30解：解：nNnjNjNNxdEnNnjNjNNxxENjnjjNjnjj2sin)(2sin)2cos(212cos5.0)(2sin)2sin(1111,0n31212111112cos22121cos2220sinj jjxxjjjTTxxj
12、jj jxxxNRExxxNRE dxdxnN 3222sin22cos)(5.0212cos212cos21212sin02222212221212122NwNwwwwwwNNwwwwNWRWWRdEeEjjxxTTdxjj33则则22222212*12,220TTjjjjjjjNE eE dPWWR WE eE eE eE eWwwwPRWWWR P 34)()()()()()(2min22*2*2min2optxxToptTjTTjjWWRWWneEneEPWdEWRWWPdEeE35例例36其中其中 2sinkxkN，KNdk2cos211122(sinsin()12cos0,1212
13、2(2cossin()2sin0,1Nkk nkNkk nkE xxkknNNNnnNE dxkknNNNnnN 37TTkkkkkkkkkkNxdxdEPNNxxxxxxER2sin0212cos212cos212112111238010101221120cos22222121sincos222cos0220cos2sinRWPwNwNNwwNwwNN 39012222csc2222cscTTctgNwwwNctgNN 40代入代入 2min0jWE eNwwwwNwkNExxEwwxEwxEwwxdwxdEdExwxwdEeEkkkkkkkkkkkkj2cos)(212sin22cos42
14、2)(10212012110212122011022110241二性能函数的表示二性能函数的表示式及其几何意义式及其几何意义422222*2*min22*min2*min*2*min2()()2()()()TTjjdxjjxxjTTjjdxjjjdxTTTjjjdxdxjjxxjTTjjxxjjxxjTTjxxjxxTjE eE dRWWRWE eE dRWE dWRE eE eWRRWWRWE eWRWWRWWRWWRWE eW*2*minTxxTjjjxxjjWRWWE eWWRWW43令令xxR是实对称矩阵是实对称矩阵 TxxRQ Q jxxTjjjnjjjjjVRVeEeEvvvWWV
15、min2221*44其中其中 是单位正交矩阵是单位正交矩阵 QIQQQQT1是由是由 的特征值所构成的对角阵的特征值所构成的对角阵xxR1xxQRQ 45将将式代入式代入式式 2min2min22）（）（jTjjjTTjjjVVeEVQQVeEeE其中其中 1min2min2jjNjjjTveEeEVQV 46三、最陡下降法三、最陡下降法472jeE0jjxxTjjTdxjjjTjjWRWWRdEeEXWde22248自适应过程是连续地调节自适应过程是连续地调节 ，去寻求碗的底部，去寻求碗的底部W1jjjWW ：调整步长的常数调整步长的常数,它控制系统的稳定性和自适它控制系统的稳定性和自适应的
16、收敛速度应的收敛速度491.递推公式递推公式 *122222WRWRIWRRWWWRRxxjxxjxxdxjjjxxdxj50 式两边同时减去式两边同时减去 W*122WIRWRIWWxxjxxj令令 jjjVQWWV*则则 jxxjjjVRIVVQV21151将将 正交分解正交分解 xxR式两边同时乘以式两边同时乘以 得得 1Q1112jxxjvQRIQvQ12jjvIv jjjjxxTxxvQvvQvQRQQQQQR11152设初始状态为设初始状态为 ，将，将式反复迭代式反复迭代 0v010*10*1*02222jjjjjjjjjvIvvQ IQvWWvWQ vIQvWQIQWW532、收
17、敛条件、收敛条件当迭代次数当迭代次数 时，只有时，只有 j02limjjI才能满足收敛才能满足收敛121jNj.,.2,154max10553、过渡过程、过渡过程5601权向量的过渡过程权向量的过渡过程 02vIvjj第第 i 个方程个方程 021jjjjiVv令令 iej121Ni,.2,11ln 1 2iiNi,.2,157当当 取值很小时取值很小时 ii21Ni,.2,1002veQvIQvQvijjjj580011121012121202110012jjjjjijijjjjNjNNNNNNjNjkkkvQ vQIvQ evqqqvqqqveqqqvqve59Nkjkjkijiijiji
18、ievqwwwwv10*6002性能函数的过渡过程性能函数的过渡过程jiimseNijjijjNijijjjieveEveEeE412)()(122min212min2261四、四、LMS算法算法621、权值计算、权值计算 jjjjjjjjTjjNjjjjjXeWWxeXWdewewewee22222222122212263用用FIR滤波器实现，第滤波器实现，第j个权系数的计算公式个权系数的计算公式梯度估计值是无偏的，梯度的估计量在理想梯梯度估计值是无偏的，梯度的估计量在理想梯度度 附近附近随机变化，权系数也在理想情况下的随机变化，权系数也在理想情况下的权轨迹附近随机变化。权轨迹附近随机变化。
19、jjjjjijijijxeEENixeww2,2,12,1642、LMS算法加权向量的过渡过程算法加权向量的过渡过程12TjjjjjjWWdXWX点积满足交换律点积满足交换律12TjjjjjjWWXdXW 若认为若认为 与与 不相关不相关,与与 不相关不相关jwjxjx1jx关联性很小关联性很小 需要经过若干步需要经过若干步 jjwx165 *12)2()(222jxxjxxjxxdxjjTjjjjjjjjjWRWERIWERRWEWXXEXdEWEXeWEWE66同理同理 jjjVWW2201111*VERIVERIWWEVEWWEVEjxxjxxjjjjjj67 max*0101022xW
20、WEQIQVERIWEjjxxj68maxmax10)(xRRttrr的对角元素的对角元素69 横向滤波器横向滤波器，2jrxENRt 210jxEN 70通常取通常取 第第i个分量个分量 iiiijijijLnvvExEN21)21(1)21(1002713、LMS算法性能函数的过渡过程算法性能函数的过渡过程式子加上并式子加上并减去减去TjjXWTjjjjjjedydXW*,()()TTjjjjjTopt jjjdXWXWWeXV722)(,2,2,2jjjjjjjoptjoptjTjjoptjVXXVVXeeEVXeEeETTT设设 与与 不相关，不相关，变化很小变化很小，jXjVjVjj
21、E VV NijijjjTjjjxxjjvEeEVEVEeEVERVEeET12minminmin)(22273同理，同理，iimseNijiijjieveEeE4121220min22744、稳态误差和失调系数、稳态误差和失调系数 7512jjjjWWeX 失调系数失调系数 N:滤波器的阶数滤波器的阶数inp：输入信号功率：输入信号功率：控制步长因子：控制步长因子提高收敛速度，失调系数要增加，因此要求适中提高收敛速度，失调系数要增加，因此要求适中inNiixxrpNRtM1minmin76书中图：书中图：N=5 输入为：信号输入为：信号+白噪声白噪声 一条样本学习曲线一条样本学习曲线 150
22、条个别曲线平均条个别曲线平均77五五.牛顿法梯度搜索牛顿法梯度搜索78)(1f)(0f01)(f1000)()(ff)()(1kkkkff791.对于单变量性能表面对于单变量性能表面)()()()(.1kkkkwwwwwwfei 802.对于多权的多变量情况对于多权的多变量情况dxxxRwR22上式两边左乘上式两边左乘 121R引入调整因子引入调整因子 11kkWWR111*1212121221xxkkdxxxxxRWWRWWWWRRWR813学习曲线学习曲线82时间常数时间常数 i41因此其学习曲线为单一时间常数的指数函数曲线因此其学习曲线为单一时间常数的指数函数曲线 NikjjTokTie
23、vxVRVRVV122min02minmin)()21(83牛顿法比最陡下降法收敛的更迅速。牛顿法比最陡下降法收敛的更迅速。因为牛顿法使用了因为牛顿法使用了R矩阵信息。从而在误差矩阵信息。从而在误差表面上找到直接到达表面上找到直接到达 的路径。因而牛的路径。因而牛顿法收敛的更快顿法收敛的更快min4与最陡下降法的比较与最陡下降法的比较84 六、六、LMS自适应自适应滤波滤波时域时域851.Widrow Hoff LMS算法算法)()(2)()1(nxnenwnw86 将原型滤波器（长度为将原型滤波器（长度为N）分解成长度为）分解成长度为 的两个子滤波器。自适应算法分别应用于两个子的两个子滤波器
24、。自适应算法分别应用于两个子滤波器，在保证算法收敛的基础上，该算法的步滤波器，在保证算法收敛的基础上，该算法的步长因子的范围要比普通的长因子的范围要比普通的LMS算法大，而算法大，而BLMS算法的步长因子的范围比普通的算法的步长因子的范围比普通的LMS算法小。算法小。2N2.并行并行 LMS算法算法.BLMS算法算法.87减小步长因子可以减小自适应滤波的稳态失调减小步长因子可以减小自适应滤波的稳态失调噪声。提高算法的收敛精度。然而步长因子的减小噪声。提高算法的收敛精度。然而步长因子的减小将降低算法的收敛速度和跟踪速度。因此固定步长将降低算法的收敛速度和跟踪速度。因此固定步长的自适应算法在收敛速
25、度，时变系统跟踪速度与收的自适应算法在收敛速度，时变系统跟踪速度与收敛精度方面对算法调整步长因子的要求是相互矛盾敛精度方面对算法调整步长因子的要求是相互矛盾的。为了克服这个矛盾，人们提出了许多变步长自的。为了克服这个矛盾，人们提出了许多变步长自适应滤波算法。适应滤波算法。3.变步长变步长LMS算法算法881.步长因子随迭代次数步长因子随迭代次数N的增加而逐渐减小。的增加而逐渐减小。2.步长因子正比于误差信号步长因子正比于误差信号 的大小。的大小。3.在初始时间段或未知系统参数发生变化时，步在初始时间段或未知系统参数发生变化时，步长应比较大，以便有较快的收敛速度和对时变长应比较大，以便有较快的收
26、敛速度和对时变系统的跟踪速度；而在算法收敛后，不管主输系统的跟踪速度；而在算法收敛后，不管主输入端干扰信号有多大，都应保持很小的调整步入端干扰信号有多大，都应保持很小的调整步长。以达到很小的稳态失调噪声。长。以达到很小的稳态失调噪声。)(ne89变换域的自适应变换域的自适应LMS滤波器滤波器90思想：将输入向量思想：将输入向量)(nx正交变换w)(nv自适应滤波这里这里 具有较小的动态谱范围。具有较小的动态谱范围。nv)(nv)(nB)(ny)()()(nBnvnyT用复域用复域LMS算法递推的修正变换域全向量。算法递推的修正变换域全向量。91)()(2)()1(1nvnenBnB为自适应步长
27、。为自适应步长。为为 对角阵。其第对角阵。其第 个元素等于个元素等于 的功率的功率估计估计 。为控制自适应步长。功能上等价于将角变换分量的功为控制自适应步长。功能上等价于将角变换分量的功率在加权前规范化（归一化）为。这于对输入信号预自化，率在加权前规范化（归一化）为。这于对输入信号预自化，减小特征值分散度具有相同的作用。从而使得权向量更快的减小特征值分散度具有相同的作用。从而使得权向量更快的收敛。收敛。NN ii,)(nvi)(2nvEi192当输入的自相关矩阵当输入的自相关矩阵 正定时，矩阵正定时，矩阵 的逆的逆 存在。存在。的收敛速度取决于特征值的的收敛速度取决于特征值的分散度。分散度。优
28、点：优点：通过对输入信号进行某种形式的正交变换，通过对输入信号进行某种形式的正交变换，可以减小输入自相关矩阵特征值的分散度，可以减小输入自相关矩阵特征值的分散度，从而得到比时域算法从而得到比时域算法 更好的收敛性能。更好的收敛性能。DFT，DCT域滤波是广泛应用的变换域自适域滤波是广泛应用的变换域自适应滤波方式。应滤波方式。xxR)(nBvvR193小波变换域中的小波变换域中的自适应滤波自适应滤波94 对于输入信号的时变特征，正弦的加权和对于输入信号的时变特征，正弦的加权和(DFT 或或 DCT)形式往往不能很好的重现。形式往往不能很好的重现。这一问题可以通过离散小波变换这一问题可以通过离散小
29、波变换(DWT)得到解得到解决。在决。在DWT中，信号通过一个小波的膨胀和平移中，信号通过一个小波的膨胀和平移的加权和重构，在时域空间同时具有局部化特征，的加权和重构，在时域空间同时具有局部化特征，而且分辨分而且分辨分 析提供了构造析提供了构造 空间的小波正交空间的小波正交基的方法。基的方法。)(2RL95 这些小波基可根据不同的尺度参数归类这些小波基可根据不同的尺度参数归类于互不相交的子集，以生成合适的正交子空于互不相交的子集，以生成合适的正交子空间。从而能在不同分辨水平上重现信号。间。从而能在不同分辨水平上重现信号。小波变换用于自适应滤波类似于小波变换用于自适应滤波类似于DFT域的自适应滤
30、波。但却具有所有小波分析优域的自适应滤波。但却具有所有小波分析优于于Fourier分析的优点。分析的优点。96变换域自适应滤波比时域变换域自适应滤波比时域TDL滤波器具滤波器具有较快的收敛速率，而有较快的收敛速率，而DWT域自适应滤波域自适应滤波的收敛性能最好，因此的收敛性能最好，因此DWT域自适应滤波域自适应滤波方法具有广阔的应用前景，是未来自适应滤方法具有广阔的应用前景，是未来自适应滤波发展的方向。波发展的方向。971.不同形式的小波滤波器的滤波效果的研究。不同形式的小波滤波器的滤波效果的研究。2.DWT自适应滤波器在时变信号滤波方面的自适应滤波器在时变信号滤波方面的应用方法研究。应用方法研究。研究课题研究课题983.目前大多数目前大多数DWT域域LMS算法都是基于算法都是基于DWT域自域自相关矩阵是近似对角的假设，而这一假设一般很相关矩阵是近似对角的假设，而这一假设一般很难满足。因此这些算法的性能与基于近似对角化难满足。因此这些算法的性能与基于近似对角化自相关矩阵的其他变换域自相关矩阵的其他变换域LMS算法性能相似。为算法性能相似。为了获得更好的收敛性能。必须突破这一添设研究了获得更好的收敛性能。必须突破这一添设研究更具鲁棒性的更具鲁棒性的DWT域自适应滤波算法。域自适应滤波算法。研究课题研究课题
