1、现代数字信号处理第三章：自适应滤波器内容 1.自适应滤波器原理 2.自适应线性组合器 3.均方误差性能曲面 4.最陡下降算法 5.LMS算法 6.RLS算法 7.典型应用：噪声消除自适应算法理论分析1。自适应滤波原理自适应滤波原理1.学习和跟踪（时变信号）2.带有可调参数的最优线性滤波器两输入两输出Two inputs and two outputs;FIR,IIR,and 格形（Lattice）最小均方误差和最小平方误差准则 nx ny nd线性滤波器性能评价自适应方法 ne输入信号输出信号期望响应误差滤波器参数)()1()(nWnWnWoldnew3.自适应滤波器的性能(1)失调量（Mis
2、adjustment）(2)计算复杂度（Computational complexity）(3)对时变统计量的跟踪能力(4)结构上：高模块性，并行性等（是否适合硬件实现）(5)收敛速度(6)数值特性：数值稳定性（对字长效应不敏感），数值精确性(7)鲁棒性：对噪声干扰不敏感，小能量干扰只能造成小估计误差本章主要讨论自适应线性组合器（其分析和实现简单，在大多数自适应滤波系统中广泛应用）。多输入多输入自适应线性组合器 Lkkknxnwny02。自适应线性组合器自适应线性组合器一类具有自适应参数的FIR数字滤波器。一般形式单输入单输入自适应线性组合器 Lkkknxnwny0 Lkkknxnwny0 L
3、kkknxnwny0 TLnwnwnwn10w min2neEnnyndnennnnnywxxwTT TLnxnxnxn1x TLnxnxnxn10 x多输入单输入 nnnndEnwPRwwTT2 LmmnxndEnxndEmPLPPPnndELmmnxnxEnxnxEmRRLRLRLRRRLRRRnnEmTmiixxxxxxxxxxxxxxxxxxxx,1,0,10,1,0,0110110 xPxxRT输入信号输入信号x的自相关矩阵的自相关矩阵R，期望信号，期望信号d和输入信号和输入信号x的互相关矩阵的互相关矩阵P3.均方误差性能曲面均方误差性能曲面单权重情况单权重情况:抛物线抛物线性能曲面
4、 nwPnwRndEnPRnwn020200200 ,0PRw两个权系数两个权系数:抛物面抛物面 nwPnwPnwnwRnwnwRndEnwnwPPnwnwRRRRnwnwndEnPPRRRRnwnwnT1010212021010102101202120102011010 ,0110 PRw权系数数目大于两个情况：超抛物面权系数数目大于两个情况：超抛物面 个权系数:一个 维空间内的超抛物面 “碗底”点对应于均方误差最小点，也就是最优权系数矢量 所在的点。对于一个二对于一个二次性能方程，存在唯一全局最优权矢量，没次性能方程，存在唯一全局最优权矢量，没有局部最优点存在有局部最优点存在.1L2Lw梯
5、度，最优权矢量和最小均方误差梯度，最优权矢量和最小均方误差 很多自适应方法使用基于梯度的方法寻找可以达到最小均方误差的权矢量。均方误差性能曲面均方误差性能曲面的梯度梯度定义为：PRww22 10nnwnnwnnwnnnnTL最优权重矢量最优权重矢量处梯度为零：PRwPRw1 022nn最小均方误差：最小均方误差：wPPRPPR2PPRRPRw2PRwwT1T1T1TTTndEndEndEndE22122min 与维纳滤波器的最小均方误差比较:1T1RR 2min2 E s nE s nT1ToptP R PP hThe same equations背离矢量（背离最优权重）背离矢量（背离最优权重
6、）均方误差性能方程可写为另一种形式：wPRwwTTndEn2权重背离矢量权重背离矢量:wwv在 坐标系统中的性能曲面方程 wwRwwTminn RvvTminnv为了使 对于所有可能的 值为非负，有必要使所有 满足 。也就是说 必须是正定或者半正定。在实际的系统中，矩阵 总是正定的，有时半正定情况也会出现。Rvv2 梯度:矢量 是权重矢量 对维纳最优权矢量 的背离。任何背离都会导致均方误差的一个增加量vwwRvvTRvvTminv0RvvTvRR4.最陡下降法 基本思想：搜索性能曲面理想情况下（梯度可知）:使用基于梯度的方法（最陡下降法）实际情况（梯度多数不可知）:LMS方法（the Leas
7、t-Mean-Square algorithm）RLSRLS方法（方法（Recursive Least-Square AlgorithmRecursive Least-Square Algorithm）)()()()1(2nWneEnWnW演示1:基于梯度搜索均方误差曲面的最小点 nnnww1 为一个控制收敛速度和稳定性的常数称为自适应步长步长。演示2:方程两边同减最优权矢量11LTxxnnnnRQ Qq q几个不同形式的权重更新方程 nnnnnnnnnnnnnnnnvIvvQvvQIvQvQIQvvQQIvvRIvwwvwRwwRIww1111121 21212121 22 1 1 22 2
8、 122nnnnnnnnn 1wwRwPwRwPwR PwIR wRw nvnvnvnvnvnvLLL211211211111000 1 20,1,2,nkkkv nvkL 20nnvIv 12nnvIvlim()lim()lim()nnnnnnwwv0v0lim20;lim 1 20 0,1,nnknnkLImax10 2max00trLLkkkkE x nR 10trR稳定和收敛条件：稳定和收敛条件：可证明：自适应过程的稳定性max10 optoptTWWVWWQV0:)(Lkvnvknkk,2,1),0(21)(Lkwhennvkkn,2,1,121,0)(lim最优点:时间迭代:稳定条
9、件:The deepest-descend method实际应用中选取:2110111()LLkikiTr RE xn参数变更的回馈模型The deepest-descend method收敛速率 滤波器参数的收敛速度决定于自滤波器参数的收敛速度决定于自适应步长的选择适应步长的选择 在在主轴系统主轴系统中参数沿着各个参数中参数沿着各个参数坐标轴独立收敛。各个坐标轴的坐标轴独立收敛。各个坐标轴的收敛速度被各自的几何比收敛速度被各自的几何比 r 控制。控制。需要注意的是，需要注意的是，在自然坐标系中在自然坐标系中各个参数各个参数w w并不是独立收敛的并不是独立收敛的。这是我们为什么要变换坐标系到这
10、是我们为什么要变换坐标系到主轴系统进行收敛分析的原因。主轴系统进行收敛分析的原因。)0(21)(knkkvnvkkLLrrrr212121211100kkr21几何比 r 和自适应步长对收敛的影响：稳定(收敛)过阻尼临界阻尼欠阻尼不稳定(不收敛)10210211210,11r01r10 r0r1r几何比和自适应步长对收敛的影响：1112001,101112nnv nvr vv nrerevr(1)权系数衰减时间常数权系数衰减到初始值的 需要花费的时间。收敛速度：几个时间常数收敛速度：几个时间常数1e 2222minmin2min1222min11min01 20001,10211 ()2 12
11、4msemsemsennmsemsenvvrvnrererer 通常为迭代次数(2)学习曲线时间常数学习曲线时间常数即均方误差与最小均方误即均方误差与最小均方误差的差值下降到初始差值差的差值下降到初始差值的的 时所花费的时间。时所花费的时间。1emse(3)自适应时间常数（用时间衡量学习曲线常数）frequency)sample(iteration)each for samples data(numberiteration wheresec ,1 smsesmsemsefNfNT注意 最陡下降法具有更多的理论分析意义，实际操作时我们必须对其做很多近似。Least-Mean-Square Alg
12、orithm 最陡下降法在每次迭代时要求得到性能曲面梯度的估计值。LMS 方法使用一个特别方法估计这个梯度（这个梯度对于自适应的线性组合器是有效的）LMS 方法的优势在于:(1)计算简单方便 (2)不需要离线的梯度估计或者数据副本 如果自适应系统是一个自适应线性组合器，并且输入矢量和期望响应在每次迭代时都可以得到，那么LMS方法通常是一个最好选择。5.LMS 方法方法 nnennnnnnmethoddescentsteepestThennenenennnnnnnnenneEnxwwwwxwww2 1:2222 ()e nd ny nd nnnTxwLMS 方法推导方法推导使用单次计算的估计误差
13、平方代替平方误差的期望。LMS使用单次误差代替误差平均，造成梯度和权矢量成为围绕真值的随机变量。nnennnnnyndnennnyxwwwwwxT2 ,1LMS 自 适 应 滤 波 器 nxnxnenwnwnwnwnwnwnT10101010211w举例（2输入线性组合器）22 2 2 0EnE e nnEnd ny nEnnnd nnnBnEn TxxxxwRwPLMS方法对方法对梯度梯度的估计的均值为真实梯度的估计的均值为真实梯度估计量的期望值与真实梯度的偏差为0。所以为无偏估计 RwwRIRwPPwRIwxxPwwxxxwxwwTT22 22 22 22 21nEnEnEnnEnEnnn
14、EnndEnEnneEnEnE RwwRIw221nn RwwRIw22 1nEnE nnennxww21 nnndnewxT最陡下降法LMS权矢量的均值权矢量的均值等于最陡下降法得到的权矢量等于最陡下降法得到的权矢量020406080100120140160180200-0.500.511.5020406080100120140160180200-0.500.511.5最陡下降LMS 单次020406080100120140160180200-0.500.511.5020406080100120140160180200-0.500.511.5最陡下降LMS 多次平均 RwwRIw22 1nE
15、nE RwwRIw221nn wwRIww02nn121kkrmax10 wwRIww02nnE LkknxE02 tr,tr10RR收敛条件收敛条件(1)在最小均方误差点在最小均方误差点 附近的附近的梯度估计误差梯度估计误差min nNnn nnennNnx2 ,0(around )min(梯度估计噪声 )nN minminmin2244 cov cov44 4covQRQQQQQQQRxxxx11111TTnNnNnNEnNnNEnNnnEneEnnneEnNnNEnNTTT权矢量噪声权矢量噪声 1,2nnnne nn wwwwx(2)在最小均方误差点在最小均方误差点 附近的权矢量估计误差
16、附近的权矢量估计误差min 012lim12022121 11010knNnknNnnNnnnNnnnNnnnNnnnnnnkknnkknIvIvIvvIvvRIvwwww(3)在最小均方误差点在最小均方误差点 附近的附近的权矢量噪声方差权矢量噪声方差 min 112nNnnvIv IQvQvIvvIvvIvvIIvvIvvIvIvIvvvwwww22min1min1min122222222covcovcov4covcovcov2 11112 11112 211112 11112 112 112 E cov1nnnNnnNnnNnNEnnEnNnNnnEnnNnNnnNnNnnEnNnnNnn
17、nEnnNnnnNnnnnnTTTTTTTTTTT梯度估计噪声的存在，使得收敛后的权矢量在最佳权矢量的附近随机起伏。这意味着稳态的均方误差值在 附近随机的改变。这个偏移量的期望值偏移量的期望值称为超量EMSmin LkkknvEnnEnnEEexcessMSE02min vvRvvTT失失 调调 量量(1)超量EMS（Mean-Square Error）RIvvvTtr covmin0min02min22120min211011210101020LkkLkkkLLLLLLnvEexcessMSEnvEnvEnvEnvEnvnvEnvnvEnvnvEnvEnvnvEnvnvEnvnvEnvEnn
18、En Rtrmin0minLkkexcessMSE RtrminexcessMSEMavavmseLkkmseavmseLkkavLL41 ,11 ,1100 avLkkL1tr0RavmseLM41(2)失调量 M实际应用中，失调量，收敛速度和权系数的个数往往需要作一个折中，因此这个方程很有用。通常自适应过程在大概4倍学习曲线时间常数内基本结束。因此，失调量可认为等于权重数目比上过渡时间权重数目比上过渡时间（4倍时间常数）。特殊情况下所有特征值都相等：特殊情况下所有特征值都相等：mseavmseLLM4141msemseLmsemse10设计滤波器时的考虑设计滤波器时的考虑 trMR14 t
19、rmseLR假设要求失调量小于10，则过渡时间应当比权重数目大10倍。6.自适应的递归最小二乘方自适应的递归最小二乘方(RLS)算法算法 维纳滤波器的一种时间递归时间递归形式(收敛速度快)n维纳滤波器nRLS 自适应滤波器min)(2neE1xxxdW R P20()minnn kke k遗忘因子 新数据比旧数据更加重要min)(02nkknke 100()()()()()()nnkTknnkxdknnnnkknd kkwRPRXXPX()(),(1),()Tkx kx kx kpX10 T01,pnw n w nwnw P0iiy kw k x kikkkkTTwxxw e kd ky k自
20、相关矩阵：()(1)()()TxxxxnnnnRRXX()(1)()()xdxdnnn d nPPX互相关矢量:自相关矩阵逆的迭代形式：11)()()1()(nXnXnRnRTxxxx相关的递归递归形式形式0()()()nnkxdknd kkPX0()()()nn kTknkkRXXBCBCCDBCBACCDBATTT1111A 和 B 是两个正定矩阵)()1()()1()()()1()1()(111111nXnRnXnRnXnXnRnRnRxxTxxTxxxxxx关于矩阵逆的一个定理11()()()(1)()()(1)()(1)()(1)xxxdxxnnnnnn e n nnnn e n n
21、WRPWRXWWK1111(1)()()1()(1)()xxTxxnnnnnnRXKXRX(1)()(1)()Te n nd nnnWX滤波器增益矢量:误差信号方程:滤波器系数更新1111(1)()()1()(1)()xxTxxnnnnnnRXKXRX(1)()(1)()Te n nd nnnWX滤波器增益矢量:误差信号方程:输入信号:)(),(ndnx初始值:1(),(0)nIRI WW滤波器参数更新:()(1)()(1)nnn e n nWWK1111()(1)()()(1)TxxxxxxnnnnnRRKXR相关矩阵逆更新:RLS 自适应方法small positive constant1
22、111(1)()()1()(1)()xxTxxnnnnnnRXKXRX(1)()(1)()Te n nd nnnWX()(1)()(1)nnn e n nWWK7.典型应用：噪声消除1n0ny 0nsAdaptive FilterAdaptive algorithmse 参考信号输出输入信号（信号噪声）误差信号W0),(,0),(,0),(010syEnsEnnEmin)(min)()(20202202ynEynEsEynsEeEsynseny00没有回声控制的远程电视会议系统Applications使用自适应回声抵消器抵消回波ApplicationsRef.:B.Widrow and S.D.Stearns:Adaptive Signal Processing,Ch.12:Adaptive noise canceling:notch filter,B说话声音B声音回声
