1、建摸与估计第一章第一章 绪论绪论 例1：气象预报52.21，：某地降水量：tZtZ 某地降水量：定义：时间序列（Time series):依时间顺序排列的 观测值 叫时间序列 研究内容：建模，预测，滤波 建模：1、自回归滑动平均模型（Autoregressive Moving Average ARMA)2、状态空间模型(States-Space Model)模型分类：1、统计模型：数据分析（黑箱）2、机理模型：公式、定律（白箱）3、半经验半机理模型：（灰箱模型）建模方法：1）最小二乘法（Least Square Method LSM)它的基本原理是实际观测值与模型计算值的误差平方和最小原理。由
2、此得名“最小二乘法”。NiiNiiiiiilNlJNilNilN110)(min.21.12差平方和：的估计值极小在测量误最小二乘法是选择，解：则有关系：，设每次测量误差为的估算值，我们求真实物体长度，体长度为次测量，设每次测量物的物体进行：对一个未知长度为例 NiilN11的最小二乘法估值为：则有2）1970年 Box-Jenkins Time series Analgsis-Forcasting and control3)1942年Wiener-kolmogrov 提出滤波理论，基于传递函 数模型缺点：需要存储全部历史数据，非递推的，只处理平稳 随机序列4）20世纪60年代初由于计算机运算
3、速度、贮量等限制，要求有贮量小、计算量小的滤波算法，满足这些要 求的算法就是递推滤波算法。1960年 R.E.Kalman滤波理论，基于状态空间模型 11123NiilNNN）（的估值为：个测量值对为例，基于：以例例 )(.11)(.11)()111(11)(11.1)1(1)(1.1)(1.111111111111111111NlNNlNNNlNNNNlNNNlNNNllNNNlNNNNNNNlNNNNNNNNiiNNiiNiiNii）（事实上：很大时，计算量增加，当）。（）和（即彼此独立地计算估值这种计算是非递推的，）（的估值为：测量值对基于滤波算法的基本思想）（这就是）（）（）（校正函数
4、或滤波增益的信息次测量的信息剩下的新次测量中去掉了前从第信息）（定义：）（）（kalmankNNNkNNNlNNNNN11111111111练习1：考虑雷达跟踪直线水平匀速飞行目标的速度V，设目标初始位为坐标原点，每分钟观测位置一次，共计观测5次，位置观测如表：时间t/分 12345位置观测值y（公里）9。620。330。439。550。2分公里代入观测值即：有置按最小二乘法原理：）（）（有噪声）值带有随机误差（观测雷达对目标位置的观测解：/007272.10)()(0)(20)()(min512515125151251512VtttyVtvttytvttyVJvttyteJtevttyttt
5、tttt一例1：电网电压 固定一时刻就是一个随机变量 定义 随机过程：随时间演压的随机变量族。T为离散，叫随机序列 定义 随机过程每次 观测结果是T上的普通函数称其为随机过程的一个实现。族可看成是其所有的实现定义：随机过程）（TtZt例2 海浪波动例3 飞机飞行一 随机过程（stochastic process）随机过程的数学期望（均值）：是随机变量数学期望的推广，它 由随机过程在每时刻的均值构成来定义，它从整体上刻划随机过程取值的平均。TtZEtut）（定义：TttuZEttuZtt22）（）（定义：状况）的误差的平方的平均（偏离其均值方差：刻化了随机过程）（随机过程相关函数：反映在任意两不
6、同时刻随机变量之间的联 系进而说明随机过程波动的快慢。）（时当tttRtttuZtuZEttRtt221221121),()()(),(021).cos()cos()()(0102021)(),()(20),()cos(200022100dtwtwaEtZEtubxaabxfftttRtuZwTttwZtt数学期望其它）（服从均匀分布（其它）（的分布密度解：由题设。及方差。相关函数的均值为常数，求随机过程变量，上服从均匀分布的随机，为在例：),()()(cos21)(cos(41)cos()2cos(212121)cos(cos()cos(cos()(),(211202021020102020
7、102020102010221121ttRtttwttwdtwtwtwtwdtwtwtwtwEuZuZEttRtttt相关函数 二 平均随机过程定义1：宽平稳随机过程（弱平稳随机过程、平稳随机过程）2202)(2)()()(0)()(11)()()(:201)(,),()(3)(2)(1EYEXXYEruZuZEuZuZErkrrruZuZErTtZttRtrCtCtukttkttkkkttkt许互尔兹不等式证对称性：性质非员：性质平稳随机过程有关相关函数仅与时间间隔防差为常数均值为常数012121210)(1)(11,.210rrZkZZZnrZZnZnZZZZNrrkktknttkNttN
8、ttNkkk采样标准相关函数：采样相关函数：采样方差：采样均值：定义：），的一个样本（长度为：对于平稳随机行列，定义标准相关函数：0001000)()()()(0)(0.0.2,1,0,)(12222kkkkktZEtZEktZtZEtEZEZTtZnoisewhitekttt相关标准函数不相关是常数，又相关函数，方差为均值为则称自噪声且为不相关随机序列，、自噪声例：1010210)210102)1(1)10)(10(10)1:110)21)10,0,0222222kkkrEZkkkaaatatEZZErEZatatZatatCststaEaEakuktktktkttkttsttt试验证为平稳
9、随机序列为自噪声序列，：设例的实际应用。；请列举平稳和非平稳例是平稳随机过程。有关，只与相关函数：解：是否为平稳随机过程。，问：，有独立，且与变量其中随机：设随机过程例讨论题：2coscos)2cos(21cos)2cos(21)(sinsin)(cos(cos)(sinsin)(coscos)(sin)(cos)(sincos()(0sincos),(,sincos10200000020000200200200000022200wwwtwwwtwtwtwtwtwtwtwEBtwtwEAtwBtwAtwBtwAERtwEBtwEAEZZEBEAvEBEABAttwBtwAZttt 三 线性平稳
10、模型（前三年）（前一年）（前二年）（今年）：年降雨量例：油田产量随机递降例随机波动（自噪声）昨天价格（今天价格：股票价格例atZZZZatZZatZZtttttttt3322111131021为它的阶次。，平均模型，记为归滑动的自噪声，则称为自回是零均值，方差为其中有模型：若时间序列定义为它的阶次。，阶滑动平均模型，记为则称为是模型参数，的自噪声，是零均值，方差为其中有模型：若时间序列定义为它的阶次。，阶自回归模型，记为模型参数，则称为的自噪声，方差为其中模型线差是零均值有模型：若时间序列定义qpqpARMAataaatZZZZZqqMAqataaatZZppARpatZZZZZqtqtptp
11、ttttqqtqtttpptptttt)(.3)(.2)(.121122111211122211atqZqMAatZqpARatqZqqpARMAqqqqqqxxqxxqqtttppppittitt)()()()()()(),(.1)(.1)(,1111111111111模型可简写为模型可简写为模型可简写为则平均算子多项式分别为；定义自回归和滑动下面引入单位滞后算子式过程的四FARMA。求一个平稳序列，必须要），要使上式代表（模型表为无穷阶次滑动平均这相当于把）（充分大，近似当式有无穷级数应用几何级数求和公式）（稳随机序列？）模型能描写成一个平（，在什么条件下，）模型（：考虑例即来表示？可通过
12、么条件下过程的平稳性：指在什、kMAZnMAaZnFaaqaqZaZqARaZZARaqqZatZARMAtnjjtjtjjtjjtjjtttttttttt002000111110111114)()(1（近似）充分大）（），（）（），（：注非自噪声：自噪声注）是稳定的多项式。（并称这样的零点都位于单位圆外，）的（为自变量的多项式以过程平稳的充分条件是：定理）（00111211nnMAqpARMAMAqpARMAqqqARMAB）（），（：注）（），（：注是一个稳定多项式。，即的零点都位于单位圆外为自变量的多项式以过程可逆的充分条件为：定理即：来表示。可通过么条件下，自噪声过程的可逆性：指在什充
13、分大稳定0)(111110121)()(2)()(:2nARqpARMAARqpARMAqqqARMAZqqaZaARMAnqtttt)3()1(.5.0)5.0()5.0(5.016)1(.1.0)1.0(1.0111.011510011011ARMAZZaaqaqZMAaaaqaqZaZqARttjjtjjtjjttttjtjjtttt）（：例）（）（：例ttjtjjtjjjttjjjaqZaaqaqqZMA)()()(1:310011即：）（的比较系数法）、求的比较系数法，求系数0.1)(0)(.0001.1).1(.).)(.1()()()()()()()()()(1:31111102
14、21122111011011101111111110011jppjpjpjjjjjpjpjjjjpjpjjjjoqqjjjppjjttjtjjtjjjttjjjqqequationdifferenceqjqqjqjjqqqBqqqqqqqqqqqqaqZaaqaqqZMA）即：（差分方程）（）（）（）（其中规定引出即：）（的比较系数法）、求的比较系数法，求系数001001010111211)()1()1(7jjtjjjtjjttjjtjtjjjjjjtjtttaaqaqZaZaZMAaZqAR：几何级数方法：公式法方法解：展式。的：求例差分方程规定递推公式即：规定：的比较系数法二、求系数)(0
15、)()(,0,0,1:.:.1.1.).)(.1()()()()()()()(1)1()()(10221111011110111111110100111pjqpjqqqqqqqqqqqqqqZqZqZqqajjjjqjqjjjjqjqjjppjjqqjjjtjjjtjjjttj)1(01)()()()(1)1(0)(1,1.)(),()1()1()1,1(801111111111111112111011111111jZaZARaaZjMAARMAatqZqARMAjjtjjttjtjjttjjjjjjt解：展式的：求例充分大充分大），（总结：00100011111111111120211211
16、1011)()(),()()()()()(nNARaZZARqpARMAnNMAaZMAqpARMAZZajtjtjtjtjjtjjtjttjj五、ARMA 过程的相关函数（correlation Function）)(0)(.)0(01)()()(),(:00.1)(.1)()()(122110011211111111qjjjaaqqZMAqpARMArZZEkZZErststaEaEaaqqqqqqaqZqqpARMAMAARMAjpjpjjjjjjtjttkkttttkastttqqpptt且其中相关函数自噪声），（回忆：）展式计算相关函数（）过程的（、利用)(0),(2),(10)()
17、(0)(0)(002220221022102202020202202020000krqpARMArqpARMArcaulykrkjiitjktaaEZZErEaaEEZkJjaZJkjjakJkjJjakjJjakJkjjJjjJjaZJkjjaJitiJjktjtktkJjtjJjtjtt：平稳定理：平稳定理等式均方收敛方差：1)(1 1)()()()()()()(1)1()1(1120111.111112220222202220211120212101112222202202011aZkkaiikkaikiikajkjjkakjkjjakjjjjjttaZkajjkajkjjakjjjjt
18、jttttrrraqZqARMAraaqZaZqAR），（：例具有拖尾性质方差）（）（：例qkqkkqkqkkaaaaaaEZZEraaaZaqZqMAqkqqkkkaqkqkkaqqtqttqktqktkttktkqtqttttt0110101)(0)1()()()()(2222211121122211111111的递推相关函数、1011011010)1()1(322221kkkkkkraaZMAkaakttt解：的相关函数：求例000)1:3200)(2)1(211111111111)()(iiaaEaZEraZrrrrraZEraZaZZZZZZZaaaZZZqpARMAaijtjitj
19、titZjjtjtqkaqkapkpkktitZqtktqtktptktpktttktqtqttptpttiaia引入符号）的相关函数，（、六 几种滑动平均模型 ARIMA 自回归积分滑动平均模型CARMA 受控自回归滑动平均模型VARMA 向量自回归滑动平均模型ARMA Autoregressive Moving AverageVCARMA integral adj 差分算子平稳非平稳非平稳时间序列气温：某地春季至夏季平均例模型、差分121111qZZZARIMAttttt（“求和”积分）积分定义：（积分滑动平均模型）时，称）（差分阶数通常）个（）（）（）（定义）（则有平稳）（令）（）（：例
20、001111111111111113,2,1,01:5.01)1(15.01122jjtjtjttttZttddttdttZttttaaqaqaZaaZqIMAqddqaqZqARIMAaqARZqaZqqARtttccaaannnnmipmimmipmcnanppttqCqCCqCqAqAIqAteqCtyqAVARMAitytyqqRCRAtEepRtemRtynteCteCteCntyAtyAtyVARMAkbqbqbbqbaqktuqbZqCARMA110111111110101101111)()()(:)()()()()()(00)()()()()1()()()1()(:30)()(
21、)()()(:2定义多项式矩阵引入单位滞后算子维自噪声维列向量时滞的根位于单位圆外可逆性的根位于单位圆外注：平稳性）（）（：例：注0)(det0)(det3.015.08.02.013.05.08.02.01111111111121qCqAqqqqqAAqAIqA第七节 状态空间模型 (States-space Model)1961 年 R.E.kalman提出)()()()()()()1()()()()()()(01)()(2)(2)()(101)1()1()/()()()()1()()()()()()()()()()1()()()()(2)()()1()(),(222tvtHxtytpwt
22、ButxtxtststxtvtststytwTTtuTTtstsTtststtstststyytstytvtvtstyTtwtutststwtutwtuTTtstststTtstsT引入状态反对位置有观测的最优估值和求滤波问题：由的观测是对位置为观测噪声观测：随机加速度（自噪声）机动加速度运动目标位置，速度。为在时刻采样周期。例：测的观测方程）给出了对状态进行观状态方程方程）建立描述状态变化的）引入状态变量其核心有三点：观测阵状态转移阵观测噪声模型输入噪声观测状态：观测模型：状态模型：定义：状态空间模型321)()()()()()()()()()()()()()()()()()1(nmrnnn
23、mrmnRtHtHRTRtRtvRtwRtyRtXtvtXtHtytwtptutBtxttx)()()()()()1(0)(:)()()()()()()()()()1()(:2tvtHxtytPwtxtxtutHtptttvtvtxtytxtxctxC则状态空间模型有形式若特别地为常阵测量次数自噪声测量误差型的测量写线状态空间模物体长度例)1()()1()1()()1()()()()1()()1()()2()1()()2()()1()()()1()1()()1()()()()()()()()()()1(.)()(),()()(1202120212tvitpwHtytvtHpwtytvtytxH
24、HHtvitpwHtytxHtvtPwHtPwHtytxHtvtPwtxHtytvtHPwtytxHtvtytHxtvtHxtytPwtxtxitvitwitytxtxiinmii的线性组合和能表为可估计即：性与可估计性、状态空间模型的可观)()(01)()(11)(1000)1(2)()(11)()(11)(0201)1(1)()()()()(,)(10110110#1#1tvtxtytwtxtxtvtxtytwtxtxtxnranknrankitvjtpwHitytxnHHHijjiiiTTnm：例可观：例统是否完全可观。的可估计问题转压为系称为可观性指数。因而的最小自然数，是使条件。这里
25、恰好是系统完全可观的则分块表示为将存在为列满秩，此时伪逆阵要求的自噪声。是零均值，方差为，相关函数相同）来表示（两边随机过程可用一个等阶的两个矩阵求逆公式：那么：。全可观，完全可控的）系统是完的独立自噪声。（假设和是零均值。方差各为和常阵，和各为为标量。输入为标量输出观测其中状态系统考虑单输入单输出定需新息模型状态空间模型转为在211111111111111111122)()()()()()()()()det()1()()()det()1()()()det()()1()det()()()()()det()()()()1()()()()(1,1,)(.)(,)()()()()()()1(ttqD
26、tyqtqDtvqItPwqIHadjMAMAtvqItPwqIHadjtyqItvtwqIPqIHadjtyqqIadjqIqIadjqItvtPwqIHtyvwtvtwnnnnHPRtwRtyRtxtvtHxtytpwtxtxARMAnnnnnnnnnnnnn)()1(9.011101)()1(9.0111)()(9.0111)(11)1)(9.01(9.119.01)(1119.09.11)1()(1,1)()()()(01)()(11)(09.019.1)1(11111111111122tvtwqtytwqtxtwqtwqqqqqtwqqqtxARMAtytvtwtvtxtytwtxt
27、xvw新息模型。的求观测的独立自噪声。是零均值，方差各为和其中例：)()3623335.01()()9.01(4838995.23623335.001)9.081.2(9.0)1()81.01()()1()()()()9.01()1()()9.01()1()(9.0111222222122111111tqtyqdddddtqdtqDtvqtwtvqtwtyqvvw即：令：）即：（)(2655643.41327822.223443556.0015.45.05.0)1()25.01()1()()5.01()1()()5.01()1()()5.01()(5.01)1()()1()5.01()()()
28、()()()(5.0)1(12112112221222122211111111舍解得：例vvvvwddddddqdtvqtwtvqtwtyqtvqtwtytwqtxtvtxtytwtxtx)()()()(00)()()()()(00)1()1()1(:,)(,)()()()()1()(3021002201121)1(212101teCtxtxtxItsteCACCACCACtxtxtxAIAAtxtxtxmmCARteRtsnteCteCntsAtsAtsARMAARMAnmnnnnmnniimmnn形状空间模型阵，它等价于如下伴随为和其中模型定理：向量型模型转化为状态空间模、由)()(001
29、)()(21)(0010)21(01)1()()1()21()(1()()1()()1)(1()3,3()()()(01)()()()(01)1()1()()()1()2(32133221132133221121121212121212211tetxtytedddtxtxteqdqdqdqqqteqdqdqdtyqqARMAtetxtxtyteaatxtxaatxtxtetyqaqaAR可压为状态空间模型可压为模型例：可压为状态空间模型模型例：第二章 最小二乘参数估计补充知识：矩阵的微分和积分tetttAdtdtlettttAtteltttAdtdttettttAadtdtAdtdnmatAb
30、atAbatjabatAbattnjmitjatjatAttnttntttnmtjtijnm1sin0cos1)(cos4sin)(300221sincos)(10cossin)()()()()(.,)(,)(:,)(,)2,1;2,1()(:)(:()(232)(:)(解：的导数例：求函数矩阵解：的导数例：求函数矩阵或上连续、可微、可积在则称上连续、可微、可积，在又若每个上的；是定义在，则称的函数。若都是变量称为函数矩阵，其中的函数为元素的矩阵定义：以变量矩阵对数求导）一、函数矩阵的微分（)()()()()(5)()()()(4)()()()()()(3)()()()()()()(2);()
31、()()(1)(),(11111tAtAdtdtAtAdtdtAuAdudtfuAdtdttfutBdtdtAtBtAdtdtBtAdtdtAdtdttAtdtdtAtdtdttBdtdtAdtdtBtAdtdtBtA是可微矩阵时，有）当（可微时，有关于）当（）（为可微函数时，有）当（）（则是适当阶的可微矩阵，：设定理AeAAktAktedtdAeAktAAktAAktAktdtdedtdAkteAAtAtAAtdtdAAtAtAAtdtdAeAeedtdCAtAtAdtdtAtAdtdtAdtdtAtAtAdtdtItAtAtBdtdtAtBtAdtdtbdtdtatbtadtdtbtadt
32、dtBtAdtdbtBatAAtkkkkkkAtAtkkkkkkkkkkkkAtkkkAtAtAtAtnmnmnknkkjikkjiknmnkkjikpntjnmtj)!1()!1(!)!1()!1(!;)(sinsincos)3(;)(coscossin)2(;)1(2)()()()(0)()()()(,)()()5()()()()()()()()()()()()()3()()()()(0110100110100111111111)(:)(:另一方面：逐项微分得，证：，则有：设定理求导，得两边对证：证：则证：二、数量函数对矩阵变量的导数1111121211211111)(,)(),(),()
33、,()()2,1;2,1()()(nnnjjnkkkTTTnnTnnTnmnmnnmijijnmijaaaffdxdfafaxfdxdfaxxaxfxaaaaxfxfdxdfxxxxxfxfxfxfxfdxdfdxdfXfnjmixfnmxXxf解：求是向量变量，且是给定的向量，例：设梯度有特殊地，若素的偏导数）阵，其元素为对相应元（得到的是与同型的矩为的导数对矩阵变量都存在，定义函数，并且为自变量的是以矩阵设njnnnjninijinjniTTTnnnijnTmnjimnijjiijmsnkksskmmnkkjikmnijnmijxxxaaaaaaaaaxxxAxxxfdxdfAxxxfxx
34、xaAItrXdxdAaxfxdfaxfxaAXtrxfxaAXdxdfAXtrxfxXaA111111111111)()(,)()()()()()()()()(:.).()()()(解：由求是向量变量，是常数矩阵，例：设特别的而解求是矩阵变量，且是给定的矩阵，例：设XxdfIAAXxdfAAXAAAXXAxaxaxaxaxaxaxaxaxaxaxaxaxfxfxfdxdfxaxaaxaxxaaxxfxaxxaxxaxxaxxaxaxaxxxnTTTnjjnjnjjkjnjjjniiinniiikniiinjjnjniiinnjjkjniiiknjjjniiinknjjkjniiikiknki
35、ikkknjjkjikkiiknjjijnkiinjjkjknjjijkiinjjijniinjjnjnjjijnjjjni当特别的：当)()()(111111111111111111111111111111111111nnTnnTTTTTTnijijpqijpijqijijmnmnnmijijpqijIxxxxxxdxdxIxxxxdxdxdxdxdxdxxxXnqmpXFqpxFnjmixfxfxfxfxfxFxFxFxFdXdFXFxXxfxfXF100010001,100010001)2()1()()1,1(,)()()()()(211111111111是向量变量，求例：设矩阵是矩阵，
36、是因为其中为矩阵值函数。的函数，通常称都是矩阵变量的元素设矩阵变量的导数二、矩阵值函数对矩阵最小二乘法（Least Squares）基本原理：极小压模型误差（残差）平方和。因此得名“最小二 乘”。1795年 Gauss提出512515125151512512)()(0)(20)()()()()(ttttttttVttyVtVttytvttyVJtvtyteJtevtty即有例：)()1()()()2()1()()()1()(min)(),()1()1()(01)()(.0)(:)()()()2()1()(:)(121121221221NtytytNtytytytaaaNiyaiyaiyJLSt
37、taytytyaaastststEtEttNtyatyatyatyNARLSTNtiNiNtstsN引入原理应用求估值：已知：未知：自噪声，即参数估计、非递推824321432142214243232221214143132121114443214321242322211413121142124243232221214143132121114321242322211413121142432100000000)(),()(00000000)(,.)(,)(aaaaaaaadxxadaxaxaxaxaxaxaxaxXaaaaaaaaadxdFdxdFdxdFdxdFdxdFdxdFdxdFdxdF
38、dxdxaaxaxaxaxaxaxaxaxXaaaaaaxxxxxxxxXdxxaddxdxaxXaaaaaTTTijT求是矩阵变量是给定向量例：设11121211)()2()1()()()2()1()()()2()1()()()()(min)()()()()()()()()(tNtTTTttiTtiTTTTTTmnnnTTmnnmTTTTTnnTTnntttttyyytYiiyiJLStttyAxdtrAxAAxdxxAxdtrxAAdxAxxdtrRxRAAdxdtrxAAdxdtrAxRxRAAdxAdxIdxdxdxdxXAAdxAxdxRAadxadxdxxdaRxRa引入：结构求导
39、：总结：)()(2)()()(2)()(2)()(2)()()()()()()()()()(2)()(2)()()()()()(2)()(2)()()()(2)()()()()()()()()()()()()()()()(min1111112111gggggggggggggggggfffggggtYttttttYtJtttYttYtYtttYtttYtYtYttYttYttJTnnnnnTniiTTnnTTTTLSTTTTTTTTTTTTTTT令证明：解法则：2、递推最小二乘法（Recursive Least squares）1111111)1()1()()1()1()1()()()1()()
40、1()()1()1()()1()2()1()1()()()1()1()1()1()1()()()()()()()()1()()()()()(tttPtPtttttttttPtttttttPtYttPttYttPttttPRLSnntYttttLSTTTTTTTTTTTTTTT则：定义：下面推导矩阵的逆矩阵。缺点：要求时刻计算估值：补充：矩阵求逆原理1111111111111111111111111111111111111）（）了降维的作用，由（注：矩阵求逆原理起到）（）代入（）（）（两边乘）（两边乘）（）（记，求mmnnACBACBAADBACBABDBABACBDBABCDBABDBABCD
41、ADABCDDAABCDADBCADIBCADRCBnnABCATTTTTTTTTTmnT)1()()1(1)()1()1()()()1()()1()1()1()()1(1)1()()()1()()1()1()1()()1(1)1()()()1()()1(1)1()1()()1()()1(1)()1()1()()()1()1()1()()1(1)()1()1()()1()1()()()()1()()1(1)()1()1()()()1()1()()()1()()1(1)()1()1()()()1()1()()()1()1()()1()()1()1()1()()1(1)()1()1()()()()
42、1()1()()1(1)1()()()1()1()()1(111ttPttPtttPtPtPtttyttPtttPttRLStttyttPtttPtttPttyttPttPtttttPttytttPttPtttPtyttPtYtttPttPtttPttyttYtttPttPtttPtPtyttYttPtytYtttPtttPttPtttPtPtPtttPtttPtPtttPtPTTTTTTTTTTTTTTTTTTTTTTTT公式：定理：)()()(:)()1()()1()()()()1()()1()(3)1()(1)1()(1)1()11()()(111)(1)1()(1)1()(1)()()
43、()()()(210)0(0)0(11111222222112122222212225tttyLSmtubtuntytytbbaatmtubtubntyatyatyCARtttttttttitttitttttitttttyttIPTmTnnmntititiT结构：运用于注证明：递推公式：的采样估值为：的方差估值：注很大：初值选取方法注)()()()()2()1()()()2()1()()()1()()()()()()()2()1()()()()(:)()()()1()()(54111tttYtttyyytYtttYttttLSaantytytyttttyLSNARtntyatyatyNNLSR
44、LSTTTnTTTn）（估值非递推结构平稳回忆：）（估值收敛性：注框图：注稳定要求不相关）（总体平均）（采样平均时有性，当由平稳随机过程的遍历）（）（）（）（）（）（）（）（）（）（）（分析：)(00)()()()()(000)()()()1()()(?0)()()()()()()()()()()()(1)()()()(1)()(1.)()(1)()()()()()()(0111111111111NARtityEjttyNARtNtyEttyEttEttERttEttEttENttEttNttEttNNttNttNttttNNNNNNNNNNYNNNNjjTTNtTNtTNtNtTNtNtTT
45、TTTTT第三节 递推增广最小二乘法)1()()()()()1(),()1()()()1()()()(:)()1(),()1()(,)()1(,1)(1)()()()()(),(Re111211111111tttytnttntytytntttttyLSnttntytytddaadatyynnqdqdqDqaqaqAtqDtyqAnnARMASquaresLeastExtendedcursiveRELSTdaTdTdaTnnTiidannnndadaddaa未知，用估值来代替结构定义：未知：观测已知：）（、递推增广最小二乘法)1()()1(1)()1()1()()()1()()1()1()1()
46、()1(1)1()()()1(ttPttPtttPtPtPtttyttPtttPttRELSTTTT公式：定理：)1()()()()0(0)()0(0)(10)0(,005tttytiiiiyIPT）（初值2、改进的RELS算法两段RLS-RELS算法)()()()()()()()(),(0110jtytyqDqAtARtnARnnARMAjjda生成自噪声估值拟合高阶第一段：对代入算法中，用第一段第二段：在结构于是自噪声估值得估计于是可用充分大，有近似高阶取)()()()()(:)()1()()()()(11)()()()(2010)(0121011110000000jRELStjjyjLS
47、njyjyjyjtRLSjqqqttyqnnARnTnnjnn第四节 多维递推最小二乘法TTTTTtjTaatttyaatytyttttyLStttytyaaaatytytQtAtyyyQQjtEtEttttaaaaAtytytyttAytyAR),()()(,)1(),1()()()()(:)()()1()1()()()(),()()2()1()()(0)()()()()()()()()()1()()1(12221222212111211112121222112112121212221222112112121结构有思路：一般到特殊求已知：为自噪声：二维例)()(0)(,)()()()()()
48、()()()()()()()1()()1()()1()1()1()1()()(1)1()()()(1)()()()()()()()(),()(1111112121ttEQtEtttttutututytytytntuBtuBntyAtyAtyVCARQtQttttQtQjjttQtttyttttAttRLSTmpmbnanTTtjTiTiiTTba自噪声一般于是求得：由单变量)()()()(:)()1()()1()(,)(dim2)()()()1()()()1(),()1()()()()(1)()(,)()(),(),()()1(21211)(2121ttHtyLSntutuntytytBBBA
49、AAHRLSensionalMultiRLStQtQtHmitQRLSntutuntytyttQttypnmnHQBBBAAAHtQtBtAtyybannTmTibTTaTTTiiTibaipnmnmnnjjbababa结构定义）（、多维于是可求用一维的第行向量的转置解：定义求已知：1111111111111)()()(:)()()()()()()()()()(0)()()(2)()()()(0)(0)(2)()()()()()()()()()()()()()()()()()()()()()()()()()()(minjjtPjjjjyHjjyjjHjjHjjyjjyHJdXdCAdxdtrX
50、AAdxdtrAXAAXAAAXdxXAXdtrHjjHjyjyjHHjjyjyjytrjHjyjHjytrjHjyjHjyjjJLSTtjTtjTtjtjTtjTtjTTTTTTTTtjTTTTTTtjTtjtjmTT定义非递推估值有令时原理应用RLSRELSRELSVCARMARLSensionalMutiRLSmutipleHIPHttPtttPttPtPtPttPttPtttHtytHtHRLSTmTTTTT：可推广两段注。多维模型引出多重：可推广到注：注估值定理；多维32dim1)(0)0(0)0)()1()()1(1)1()()1()()()1()1()()1(1)()1()1()
