1、12.1 平稳随机信号的参数模型12.2 AR模型的正则方程与参数计算12.3 AR模型谱估计的性质与阶次选择12.4 AR模型的稳定性与信号建模12.5 关于线性预测12.6 AR模型系数的求解算法12.7 MA模型12.8 ARMA模型12.9 Pisarenko谐波分解与MUSIC 算法12.1 平稳随机信号的参数模型经典谱估计：分辨率低（受窗函数长度的限制）;方差性能不好；方差和分辨率之间的矛盾。对平稳信号建模:用于功率谱估计:提高分辨率，减小方差；也可用于信号的特征提取，预测，编码及 数据压缩 等。步骤步骤2 2由 的先验知识，如 ,估计 的参数：()x n()H z()xr m步骤
2、步骤1 1假定所研究的平稳过程 是由一白噪声序列 激励一线性系统所产生的输出；()u n()x n()()()B zH zA z)(nu)(nx从功率谱估计的角度，对平稳信号建模的步骤：即是对 建立的数学模型。()()()B zH zA z0112,qpb bba aa()H z()x n参数一旦上述系数被求出，则：功率谱估计：22222()()()()jjjxuujB eP eH eA e随机信号通过LSI系统的输入输出关系步骤步骤3 3qkkpkkknubknxanx01)()()(LSI系统的输入、输出关系：以上两式是LSI系统的时域表示，无论对确定性信号还是随机信号都成立。现假定输入、
3、输出是平稳随机信号（输入是白噪声）。差分方程0)()()(kknukhnx卷积关系0()()kkH zh k z()()()B zH zA z转移函数的两种表示形式，独立于信号。谱分解的Z域表示12211()()()()()()()xuuB z B zP zH z H zA z A z01()qkkkB zbb z1()1pkkkA za z待辨识的参数。AR（AutoRegressive，自回归）模型221()1juxpj kkkP ea e0,21qbbbpkknuknxanx1)()()(111()()1pkkkH zA za z若：并假定：01b 全极点模型则：qkkkzbzBzH11
4、)()(MA（MovingAverage,移动平均）模型221()1qjj kxukkP eb e10paa01()()(),1qkkx nu nb u nkb若：则：全零点模型:1:1iiaipbiqARMA（Auto-Regressive Moving-Average,自回归移动平均）模型)()()(zAzBzH极零模型ARMA模型如果：不全为零则：AR模型:全极模型，线性，用的最多，被研究的也最多，性能很好；MA模型：全零模型，看起来简单；但是非线性；ARMA模型：极零模型，二者的综合。具体选用那一个模型，一是取决于信号的特点，二是取决于信号处理任务的需要，需区别对待。1 Kay S M
5、,Marple S L.Spectrum Analysis:a modern Perspective.Proc.IEEE,69(Nov):1380-1419,19812 Makhoul J.Linear Prediction:a tutorial review.Proc.IEEE,62(April):561-580,19753 Kay S M.Modern Spectrum Estimation:Theory and Application.19884 4 Marple S L.Digital Spectrum Analysis with Application.1987 推荐如下参考文献：1
6、2.2 AR模型的正则方程与参数计算目标：找到已知参数和未知参数的关系，以便求解未知参数：已知参数：(),0,1,xr mmp求解方法：由下面的差分方程入手：pkknuknxanx1)()()(两边同乘 ，求均值()x nm212,:1pa aap个未知参数：()()(xx nrEx nmm 1)()(pkxxxuka r mkrr mm 1()()()pkka x nmku nmx nE1()()()()pkka E x nmk x nE u nm x n 和 的互相关()x n()u n()()()xurmE u nm x n因果系统11(0)()(0)(1)1(1)1limlimlimz
7、zpkkzkhH zhhza z卷积关系0()()()pkh k E u nm u nk0()()()pkE u nmh k u nk2220()()()(0)pkh kmkhmh1)()(pkxxxuka r mkrr mm 结果1：结果2：2,0()0,1,2,xumrmmp结合起来121()1()0pk xkpk xkxa r mkmarrmkm正则方程（Normal Eq.）212(0)(1)(2)()1(1)(0)(1)(1)0(2)(1)(0)(2)00()(1)(2)(0)xxxxxxxxxxxxpxxxxrrrr prrrr parrrr paar p r pr pr2pRaO
8、Toeplitz 自相关阵又称 Yule-Walker 方程利用Yule-Walker 方程，可求解出AR模型参数：212,pa aa于是模型可以构造，可以实现功率谱估计。提法：设 在 时刻之前的 个数据()x nnp(),(1),(1)x np x npx n已知现在希望用它们预测()x n为了深入了解AR模型的特点，现探讨另外一个问题，即线性预测问题：()x np(1)x n(1)x np()x n1()()pkkx nx nk 线性预测()()()e nx nx n误差序列221()()()pkkE e nEx nx n k均方误差令：0,1,2,kkp可以得到使 最小的 及 。1,pm
9、in不求导，使用正交原理：()()()0,1,2,E x nm x nx nmp()e n1()(),1,2,pxk xkr mr m kmpWiener-Hopf Eq.：最小预测误差功率min1()()()(0)()pxk xkE x n x nx nrr kmin1()(),1,2,pxk xkr mr m kmp线性预测的Wiener-Hopf Eq.注意到：对同一信号 ，都使用其()x n()xr m得到了两组方程：121()1()0pk xkpk xkxa r mkmarrmkm来自AR模型：Yule-Walk 方程1min1()1()0()pk xkpk xxkrmmmrkmr
10、k来自LP：Wiener-Hopf 方程结论：对同一信号，二者是相同的，即2min1,2,kkakp一个 p 阶AR模型的系数可用来构成一个 p 阶的线性预测器，反之亦然。并且：1()()()()()pkke nx nx nx nx n k()u n1()()()pkku nx na x n k()e n由于所以等效的概念 应等于AR模型激励白噪声的功率 。min2 由LP的含意，因此AR模型也可以看作是在 最小平方意义上对数的拟合；上面等效的含意是：由于LP包含了对数据的外推，因此，对应的 谱估计所用数据的范围比实际的应有扩展，因此可以提高分辨率。线性预测器的误差序列等效于激励AR模型 的白
11、噪声序列；1()A z()u n()x nAR模型()A z()x n()e n白化滤波器()x n1()A z()x n()e n线性预测器Yule-Walker 方程的快速计算 Levinson-Durbin快速算法：():1,2,1,2,makmpkm()mmamk反射系数要求解的参数：2min(1),(2),(),()ppppaaap思路：利用Toeplitz 矩阵特点，由低阶 高阶112221:(1),2:(1),(2),:(1),(2),(),pppppapaappaaap212(0)(1)(2)()1(1)(0)(1)(1)0(2)(1)(0)(2)00()(1)(2)(0)xx
12、xxxxxxxxxxpxxxxrrrr prrrr parrrr paar p r pr pr11(0)(1)1(1)(1)(0)0 xxxxrrarr1:p 2211(0)(1)/(0)(0)1(1)xxxxrrrra0(0)xr11(1)(1)/(0)xxarrk 21011k(0)()(0)1(0)()2xjxxrE x n x nrP ed零阶预测器的误差等于信号的功率1111()()()mmmxxmkkak r m kr m11()()()1,2,1mmm ma kakk am kkm211mmmk递推公式1100pp递推过程中，要始终保持：1mkP 阶AR模型（LP）有三组参数：可
13、互相导出，请给出它们互相导出的公式。)(,),0(prrxx(1),(),pppaap1(0),xprkk都是 p+1 个)(,),0(prrxx)(,),1(paapppxkkr,),0(1ARAR模型模型基于AR模型谱估计的实现：由 估计1,0),(Nnnxpmmrx,0),(步骤步骤1 1步骤步骤2 2解Yule-walker方程，得估计的模型参数()()xxr mr m步骤步骤3 3211)(pkkjkpjAReaeP尚需离散化22210()jlpNARARNjlkNkkPePla e110pNaa离散谱，用FFT计算实际计算：12.3 AR模型谱估计的性质1.AR谱的平滑特性AR模型
14、是一有理分式，估计出的谱平滑，不需要像周期图那样再做平滑或平均，因此，不需要为此去牺牲分辨率。2.AR谱的分辨率经典谱估计：经典谱估计：假定：0,0)(nNnnx()0,1xr mmN/,(2/)sfNk N分辨率反比于 N，即1,0)(Mmmrx对间接法：分辨率还要降低21()()1pjj mARapmj kkkPer m ea eAR模型包含了对 的“预测”或“外推”。实际上，这包含着自相关函数的“外推”。令：()x nAR谱AR谱对应的自相关函数1(),()(),xpak akr mmpr ma r mkmp可以证明：AR模型自相关函数匹配性质证明：21()1pj mapmj kkkr
15、m ea e由()()()pj majjmr m eA eA eNote:()1/()H zA z两边做DTFT反变换：()()()pjj majmA er m eA e左边()(0)()ppphkhk 右边0()()()()paaka mr ma k r mk1()()()()paapkr ma k r mkk 有：0m 上式等效于Yule-Walker 方程，对同样的模型系数 ，因此必有1,paa()(),axr mr mmp当 时，可以用下式外推：mp1()(),pak akr ma r mkmp ppmmjxjBTemreP)()(外推后的 对应AR谱，因此AR谱有较高的分辨率。而经典
16、谱估计中无外推，即：()ar m分辨率低注意到AR模型自相关函数的匹配：()(),axr mr mmp1()(),pak akr ma r mkmp 设想：如果阶次 ,则AR谱对应的自相关函数完全等于信号的自相关函数，AR谱等于真谱。p （b)p=10;(c)p=20;(d)p=30最大熵谱估计:Burg 于 1975年博士论文。Maximum Entropy Spectral Estimation，MESE）关于熵：设信源由 这 M 个 事件组成：产生 的概率是 12,MXx xxix()iP x1()1MiiP xix 的信息量：()ln()iiI xP x 对数以e为底对数以2为底()i
17、I x奈特（nat)比特（bit）单位11()()ln()()()MMiiiiiiH XP xP xP x I x()()ln()H Xp xp x dx 离散型随机变量连续型随机变量熵Burg最大熵谱估计的思路是：已知某随机信号自相关函数 的 个值 ，现希望以这 个值对 的自相关函数予以外推。外推的方法很多，Burg的准则是：外推后的自相关函数对应的时间序列具有最大的熵，即是最随机的。1p(0),(1),()xxxrrr p()xr m1pmpMEMS1()()2j mr mPed最大熵功率谱保证：的递推方法很多。(0)(0)()()xxrrr prp所以很多()x nMEMSAR()()P
18、P说明了自相互函数的外推特点原则：是所有各种可能外推所对应的时间序列中最随机的，即含有最大信息量（熵）。再假定 是高斯的。在这三个条件制约下，有：()x n()x n3.AR模型谱的匹配性质)(zA)(nx)(neP 阶线性预测2)()()(jjejxeAePeP从LSI系统输入、输出关系若用AR谱去匹配信号的谱，则误差系列的谱应由常数谱来匹配，体现 的白化性质。)(zA2min)()(jjAReAeP从AR模型和LP等效关系1/()A z)(nx()u n p 阶AR模型deAePrneEjjxe22)()(21)0()(给定平稳信号 的功率谱，希望用一模型的谱来匹配它，匹配的原则是使二者比
19、值的积分最小。)(nx2min)()(jjAReAePdePePjARjx)()(2min令 相对 中的参数 最小)(jARePpaa,1可得到最佳 Yule-Walker Eq的又一解释：1)()(21dePePjARjxmin当有：()()jj mxxmP er m e 的真实功率谱)(nx()()jj mARamPer m e AR谱)(nxpkakxapmkmrapmmrmr1),(),()(AR模型自相关函数匹配性质()()()()axjjARxifpthenr mr mandPeP e 所以，理论上：我们可用一个全极点模型来近似已知谱 ，达到任意精度。)(jxeP1)()(21de
20、PePjARjx由：增加 ，等效地扩大了 相等的部分p)(),(mrmrxa在 内紧随（1）全局跟随性质（global)()1()()1()jxjARjxjARP ePeP ePe)(jAReP)(jxeP因为均值为1，所以 在 上下波动（2）局部跟随性质（local)ARPxP总效果：紧随 的峰值)(jAReP)(jxeP从对整个积分的贡献来考虑情况多情况少1)()(21dePePjARjx)(jAReP紧跟 谱的峰值)(nx4.AR谱的统计性质AR谱估计的方差反比于 的长度N和SNRAR谱变为ARMA谱，既有极点，又有零点，分辨率会有下降。)(nx5.AR谱估计的不足2211()()()(
21、)()uwyxwA z A zP zPPA z A z若 的SNR不高，那么 可看作 )(nx()()()y nx nw n)(nx()()u nw n区别AR 模型阶次p的选择Levinson递推给出：01pp（1）最终预测误差准则（2）信息论准则1FPE()(1)kNkkNkAIC()ln()2kkNk递减、恒正p12.4 AR模型的稳定性为什么有稳定性问题？式中自相关函数是估计出的，由12,Tpaa aapORa2解出：)(1)(zAzH始终是稳定的能否保证取决于 R 的性质)0()1()()1()0()1()()1()0(1xxxxxxxxxprprprprrrprrrR1det()0
22、pR第10章已证明：若 正定，则求出的 保证 的根都在单位圆内，且唯一。AR模型的最小相位性质1pRpaa 1)(zA结论结论1 1 由线性方程组的克莱姆法则，必然是唯一的。关键是证明其最小相位性质。paa 1 对 阶模型，预测误差功率 应为最小。若 有一零点在单位圆外，将其反射到单位圆内，如果 进一步减小。这就说明原来的 不是最佳的。也即，只有最小相位的 才能构成最优的 阶线性预测器。p)(zA)(zA)(zAp22()(0)1()()2ejjxE e nrP eA ed证明：1()()(1),1iiA zA zz zz令：11()(1),1,1,pkkkk iA zz zzkp ki 代入
23、：,1ijiiizrer22221()()121()()1 2 cos()2ijjjxijjxiiiP eA ez edP eA errd式中：0,1,kkpr所以整个积分不为零。由此，不是最佳 的 阶预测器。p)(zA1min1iijjiiiizr eezr将：则：令：(2cos()20,iiirr的一部分）但是：若 由 个复正弦组成，即)(nxppkkkknjAnx1)(exp)(1det()0det()0,1,2,pkRRkp则：矩阵奇异我们证明过 是非负定的，但结论1要求 是正定的。1pR1pR何时 ，何时1det()0pR1det()0pR结论结论2 2纯线谱1234p5()jxP
24、e211()()()1,1()()21()()()2pxkkkjjjpjj mxjHjjpPAleteeer mP eedthen ReeP ed eee证明：标量情况向量情况11ppaRO假定：0,paaa有非零解：10Hpa Ra则：22112211()()21()02kpHjpkkkpjkka RaA eAdA A e 又：2211()02kpjkkA A e2()0,1,kjA ekp必有1()1()0kpjj kkA ea k e 第一点得证0det1pR由线性方程组理论，必有：(0),()aa p必不全为零，11ppaRO有非零解det()0,1,2,kRkp请自己证明即：第二点：
25、若 由 个正弦组成，又称纯谐波过程，则 是完全可预测的，即可以做到：)(nxp)(nx)(nx0min结论 2 和 3 对信号建模有着重要的指导作用。对 个复正弦，其自相关矩阵的秩为 ，因此模型的阶次最大只能为 ，否则，将出现矩阵奇异的现象，当然，所求出的模型是不稳定的。对纯正弦建模时，一般要人为的加入一些噪声，防止自相关阵奇异。1ppp结论结论3 3关于信号建模本质的讨论)()(nxnx()H z)(nu)(nx用白噪声 激励一个线性系统，真的能产生我们所研究的随机信号)(nu)(nx或者：)(nu()x n()H z并没讨论过时域信号的匹配性质，即：我们介绍过AR模型的：（1）自相关函数的
26、匹配性质：1(),()(),xpak akr mmpr ma r mkmp（2）功率谱的匹配性质1)()(21dePePjARjx)()(nxnx实际上，我们无法要求：功率谱匹配自相关匹配)()()()(jxjxxxePePmrmr因此，我们讨论过的信号建模是在二阶统计意义上的建模，要求的是自相关函数和功率谱这些二阶统计量的匹配。)()(nxnx而只能做到：定义：若平稳过程 存在 阶模型，使得模型的输出 和 在 阶统计意义上一致，则称 可在 阶统计意义上准确建模。)(nx)(nx)(zH2,)(nx 是 在 阶统计意义上准确模型；)(nx)(nx即是自相关和功率谱匹配；)()()(12zHzH
27、zPx)(zPx做谱分解，可得 ，但由于 失去相位信息，所以模型无穷多若 已知，由 ()H z)(zPx实际上，我们可以在其它阶次的统计量上建模。阶次大于 2 的谱称为“多谱（Polyspectrum)。三阶谱定义为:3121212(,)()()()xPH jH jHj 三阶谱又称“双谱（Bispectrum)”,对应的相关函数又称三阶相关：1212(,)()()()xr m mE x n x nm x nm阶次大于2的统计分析，称为“高阶谱分析（High-Order Spectral Analysis)”,MATLAB中有专门的工具箱。Wold分解定理：任一平稳过程 均可作如下分解：12()
28、()()x nx nx n)(nx1.是一规则过程（平稳，连续谱）,是一纯正弦过程，二者不相关;1()x n2()x n2.可以表为一个无穷阶的MA过程:1()x n101()()(),1qkkx nu nb u nkb21qkkb 并有且 和 也不相关()u n1()x n 这一分解的含义是：任一宽平稳过程的功率谱都可表为一连续谱和一线谱的和：12222()()()()()jjjxxxjkkkP eP ePeB eA Wold 分解定理是平稳过程的一个基本定理。可用于不同模型之间的等效。如 可由一 p 阶AR模型来产生，所以，一个 p 阶AR模型可由一无穷阶的MA模型来等效，反之亦然。这为建模及模型求解提供了方便。()x n
