1、2005-11-58.1 8.1 系统的描述系统的描述 8.2 8.2 最小方差估计最小方差估计 8.3 8.3 线性最小方差估计线性最小方差估计 8.4 8.4 最小二乘估计最小二乘估计 8.5 8.5 投影定理投影定理 8.6 8.6 卡尔曼滤波卡尔曼滤波-状态估计状态估计 2005-11-58.1.18.1.1状态空间模型状态空间模型 随机状态空间模型描述：随机状态空间模型描述：,111111kk kkkkkkXXB UW8.1.28.1.2差分方程模型差分方程模型 随机差分方程模型随机差分方程模型1()(1)()ny ka y ka y kn011()(1)()()(1)()mpb u
2、 kbu kb u kmkckckp2005-11-5()EXXE XX Z%()X Z的误差方阵为的误差方阵为()XX Z()XX z()(,)XX zx z dxdz()(/)()XX zp x z dxg z dz()XX zEXX%()vXZ定义定义8.2.1 使误差方差阵使误差方差阵最小的估计最小的估计X()X Z叫叫最小方差估计，最小方差估计，是一个随机向量。是一个随机向量。设设 的概率密度为的概率密度为 ，的概率密度为的概率密度为 ，(,)x z二者的联合概率密度为二者的联合概率密度为 ,则在则在Z=z Z=z 条件条件X(,)/()p x zx zg z下，下，的条件概率密度为
3、的条件概率密度为()f xZ()g zX2005-11-5EXX%EXX%证证:使使 最小，等价于使最小，等价于使EXX%最小。注意到最小。注意到()XX z()(/)XX zp x z dx()()()XE X zE X zX z()()()XE X zE X zX z(/)p x z dx()(/)XX zp x z dx()XX zX()X ZX定理定理8.2.1 的最小方差估计的最小方差估计 等于等于 的条件的条件()E(/)X ZX Z 条件均值为条件均值为2005-11-5=()()()XE X zXE X zp X z dx()()()X zE X zp X z dx()()X
4、zE X z+()()()XE X zXE X zp X z dx()()X zE X z()()X zE X z=()()()()XE X zXE X zp X z dxD X z ()()X zE X z()MVXZEXX%可知，当且仅当可知，当且仅当 时，方差时，方差最小最小阵阵2005-11-5()MVE XXZ()MVXXZ()()D X z g z dzz的联合分布的联合分布x例例8.2.18.2.1 设被估计量设被估计量 和观测量和观测量x的最小方差估计。的最小方差估计。如表如表8-1所示，所示，试求试求表表8-18-12005-11-5 解解 E(/)VXX Z5,-12,1z
5、z当时5当时2的联合分布的联合分布z和和观测量观测量x 例例8.2.2 8.2.2 已知被估计量已知被估计量的最小方差估计和线性最小的最小方差估计和线性最小x如表如表8-28-2所示所示,试求试求方差估计。方差估计。2005-11-5 解解:E(/)VXX Z表表8-28-22005-11-51,133,045,13zzz 估计误差的方差为估计误差的方差为22222221221133112215()10 310 310 410 410 310 324VE XX2005-11-5VX；nXR(,)XNP:m nHRXmVRZHXV例例8.2.3 8.2.3 设设，其中其中为测量噪声，为测量噪声，
6、(0,)VNR:；，、互相独互相独。试求。试求的最小方差估计的最小方差估计.立，立，解解:由已知可求出由已知可求出EX，DX=P，EZH()D ZHPHR，cov(,)cov(,)X ZPHZ X 再根据正态分布中的条件概率可知再根据正态分布中的条件概率可知1()()VXE X zPHHPHRZH2005-11-5定义定义8.3.2 8.3.2 使误差方差阵使误差方差阵D()()XXX ZXX Z%Zx()X ZaBZ8.3.18.3.1 称为称为 的线性估计，其中的线性估计，其中为常量，为常量，为为 常阵，常阵，为为 维观测向量。维观测向量。mnm合概率密度或条件概率密度合概率密度或条件概率
7、密度 ，在工程上，在工程上最小方差是最理想的估计，但需要知道最小方差是最理想的估计，但需要知道 的的联联常常难以实现。常常难以实现。,X Z(/)P X Z2005-11-5()LXZ()X ZaBZ最小的线性估计最小的线性估计 称为线性最小方差称为线性最小方差估计估计，记为，记为令令 则则 于是有于是有baExBEZabEXBEZ()X X ZE X a BZ X a BZ ()E X X ZE X EX b BZ EZX EX b BZ EZ ()cov(,)cov(,)DX bbBDZ BX Z BBZ X2005-11-511cov(,)()cov(,)()E X a BZ X a B
8、ZbbBX Z DZDZ BX Z DZ 1cov(,)()cov(,)DXX ZDZZ X11cov(,)()cov(,)()E X a BZ X a BZbbBX Z DZDZ BX Z DZ 1cov(,)()cov(,)DXX ZDZZ X在右边加减在右边加减1cov(,)()cov(,)X ZDZZ X后配方，得后配方，得要方差要方差 最小最小,必须令必须令 ，由此推得：由此推得：0b DX1cov(,)()BX ZDZ1()cov(,)()()LXZEXX ZDZZEZ2005-11-5其误差方差阵其误差方差阵()LE XXZ1()cov(,)()cov(,)LXXZDXX ZDZ
9、Z X()LX Z,cov(,),EZ DX DZx y根据遍历性定理，往往可以比较容易地求得根据遍历性定理，往往可以比较容易地求得 通常容易获得。通常容易获得。,EX2005-11-51E(2323)04X 1E(1 1 1 1)04Z 2222113D23(2)(3)42X 22221D11(1)(1)14Z 5cov(,)1 21 3(1)(2)(1)(3)2X ZZ 进而求得进而求得1()cov(,)()()LXZEXX ZDZZEZ550122ZZ 例例8.3.18.3.1ZX设被估计量设被估计量 和和 观测量的联合分布如表观测量的联合分布如表X8-18-1，试求，试求 的线性最小方
10、估计的线性最小方估计解解:根据表中数据可以求出：根据表中数据可以求出：2005-11-51212E(1)1 010 1010 10Z 2222221 17271733132 17381D10 1010 1010 1010 1010 1010 10100X2212123D(1)110 1010 105Z11727132133cov(,)(1)(1)1010101010 10 10 105X Z 13127E(1)1121010101010X 解：解：XZ()LXZ例例8.3.2 已知已知 和和 的联合分布如表的联合分布如表8-2,试求试求2005-11-51()cov(,)()()LXZEXX
11、ZDZZEZ3,11077,0101017,110zZzz 181321D()cov(,)()cov(,)1005100LXXZDXX ZDZZ X估计误差为方差估计误差为方差 的线性最小方差估计为的线性最小方差估计为X2005-11-55()24VD XX小于前面最小方差估计时的误差方差小于前面最小方差估计时的误差方差 线性最小方差估计的统计性质为：线性最小方差估计的统计性质为：LXaBZ (1)(1)线性线性 1cov(,)()()LEXE EXX ZDZZEZEX(2)(2)无偏性无偏性()0LE XXZ(3)(3)正交性正交性()()0LE XXBZ由于由于所以所以()()LE XXZ
12、EZ2005-11-51cov(,)()()()E XEXX ZDZZEZZEZcov(,)cov(,)0X ZX Z可以证明，可以证明，()LXZ是唯一的是唯一的1()cov(,)()()EXZE XXZD ZZE Z这说明这说明 LXX正交于正交于 Z2005-11-5最小二乘估计是一种经典的估计方法。最小二乘估计是一种经典的估计方法。1,2,iiizh xikkx为了估计未知量为了估计未知量对它进行对它进行 次量测，量测值为次量测，量测值为iiih其中其中 为已知量，为已知量，为第为第 次量测时的随机误差。次量测时的随机误差。i x设所得估计值为设所得估计值为 ，则第，则第 次量测值与相
13、应估计次量测值与相应估计iiiezh xih x值值之间的误差为之间的误差为21()()kiiiJ xzh x将此误差的平方和记为将此误差的平方和记为2005-11-5()J x12kzzZz12khhHh12k x()J x时时 取最小值的估计值取最小值的估计值 成为位质量的最小二成为位质量的最小二乘估计乘估计()J xLSx，记作，记作 。使。使 取最小值的准则成为取最小值的准则成为最小二乘准则，根据最小二乘准则求估计值的最小二乘准则，根据最小二乘准则求估计值的方法称为最小二乘法。方法称为最小二乘法。LSx下面来求最小二乘估计下面来求最小二乘估计 。采用向量矩阵形式。采用向量矩阵形式记记2
14、005-11-5令令()2()0TJ xHZHxx 当当1()TH H存在时，可得到存在时，可得到1()TTLSxH HH Z0TH H 1()TTLSxH HH Z由于由于 所以所以确为最小二乘确为最小二乘估计。估计。ZHx()()()TJ xZHxZHx则有则有2005-11-522412zx1211101zx 22412zx求求X的最小二乘估计。的最小二乘估计。X例例8.4.1 8.4.1 根据对二维向量根据对二维向量 的两次观测：的两次观测：解解:采用记号采用记号12214zZz 12110112HHH122005-11-5则可将两个观测方程合成一个观测方程则可将两个观测方程合成一个观
15、测方程211101412x H1()TH H这里，矩阵这里，矩阵的秩为的秩为2 2，存在。利用公式得存在。利用公式得1112101101011112112124LVx 2005-11-511236436113 在最小二乘估计中，既不需要知道联合概率分布，在最小二乘估计中，既不需要知道联合概率分布，也不需要知道随机变量的二阶矩。因此方便于实际也不需要知道随机变量的二阶矩。因此方便于实际应用。但应该注意最小二乘估计属于线性估计，其应用。但应该注意最小二乘估计属于线性估计，其误差方差阵通常大于线性最小方差估计的误差方差误差方差阵通常大于线性最小方差估计的误差方差阵。阵。2005-11-5XaBZ（1
16、 1）()0E XX（2 2）()0E XX Z（3 3）投影定理投影定理：1()E AX ZA1()E X Z则则（8.5.1)(/)E X ZX则称则称 为为 在向量在向量 上的投影，记为上的投影，记为 ZXX定义：定义：如果一个与如果一个与 同维数的随机向量同维数的随机向量 具有性质具有性质X1m1,X Z(1)(1)设设 为两个随机向量、维数分别为为两个随机向量、维数分别为 与与 ，n其中其中 为为 矩阵矩阵。Aln2005-11-51()XXE X Z2221()ZZE Z Z式中式中 证证:根据投影定义和投影的唯一性原理，只需根据投影定义和投影的唯一性原理，只需证明它们满足定义中的
17、三个性质。证明它们满足定义中的三个性质。(1)(1)首先证明第一部分首先证明第一部分 ()E X Z112222()()()E X ZE XZEZ ZZ(8.5.2)12ZZZ令令 ；则；则 ：12,n m m12,Z Z2.2.设设 为三个随机向量，维数分别为为三个随机向量，维数分别为 。,X2005-11-5线性线性 因为因为 1()E X Z1Z是是 的线性函数，所以的线性函数，所以 1()AE X Z也是也是 1Z的线性函数。的线性函数。无偏性无偏性 1()E AE X ZAE1()E X ZAEXEAX无偏性得证。无偏性得证。正交性正交性 11()E AXAE X ZZAE X11(
18、)00E X ZZA（2）其次证明第二部分）其次证明第二部分 的线性函数，的线性函数，1()E X Z21()E Z Z1Z线性线性 因为因为是是和和因此因此1Z2Z的线性函数。的线性函数。2221()ZZE Z Z%是是而而和和 12(,)ZZZ合起来是合起来是的线性函数。的线性函数。2005-11-511122222222()()()()()E E X ZEXZEZ ZZEXE XZEZ ZEZ%0EXEX112222()()()E XE X ZEXZEZ ZZZ%11222222,()(),EXZEXZE EXZEZ ZZZZ%1222221220,()(),EXZEXZEZ ZEZ Z
19、EZ Z%12222220,()()0,EXZEXZEZ ZEZ Z%无偏性无偏性正交性正交性n1Z式式(8.5.1)(8.5.1)的几何意义为：由的几何意义为：由 维随机向量的分量维随机向量的分量所组成的所组成的l l维随机向量维随机向量 在在 空间上的投影等于先空间上的投影等于先用用 维随机向量在维随机向量在 空间上的投影，再乘上空间上的投影，再乘上A A矩阵所矩阵所构成的随机向量。构成的随机向量。1ZAXn2005-11-52Z2Z投影，另一个分量为投影，另一个分量为 子空间中的投影。其中子空间中的投影。其中式式(8.5.2)的几何意义为：随机向量的几何意义为：随机向量 在在 上投影上投
20、影XZ等于二个分量之和。一个分量为等于二个分量之和。一个分量为 在在 子空间中的子空间中的1ZX1Z子空间子空间 子空间。子空间。8.6.18.6.1无控制项的线性动态系统的滤波无控制项的线性动态系统的滤波考虑离散动态系统考虑离散动态系统,1111kk kkkkXXWkkkkZH XV(8.6.1)(8.6.2)2005-11-51n lkR1lkWR,1n nk kRnkXR其中其中 ；为模型噪声为模型噪声m nkHRmkVRmnmkZR为观测向量为观测向量 ，为观测噪声；为观测噪声；为已知观测矩阵。为已知观测矩阵。1kkZZZj kXkZjXj kX 表示利用表示利用 对第对第 的估计值的
21、估计值 当当j=kj=k时时 称为滤波值；称为滤波值；j j k k时时 称为外推或预称为外推或预报报值；值；j j k k时时 称为内插或平滑。称为内插或平滑。j kXj kX2005-11-5 的初始状态的初始状态 与噪声序列与噪声序列 均不相关均不相关,即即0X ,kkWV0cov(,)0kX W0cov(,)0kX V00EX000000()()DXE XXP0kEW cov(,)kjkjkkjW WEW WQ0kEV cov(,)kjkjkkjV VEV VRcov(,)0kjkjW VEW VkVkW对模型噪声对模型噪声 和观测噪声和观测噪声 作如下假设：作如下假设：状态噪声和观测
22、噪声为互不相关的白噪声状态噪声和观测噪声为互不相关的白噪声2005-11-51k kX1()kkE XZ1,1111()kk kkkkEXWZ,111k kkkX直接应用投影定理（直接应用投影定理（8.5.1）和（）和（8.5.2）推导状态）推导状态估计递推公式。估计递推公式。11()kkkkXE X Z(8.6.3)1kX11()kkXZ1kZkX令令 。利用。利用 观测值对观测值对 进行估计进行估计把式（把式（8.6.1）代入到（）代入到（8.6.3），并利用投影定理），并利用投影定理1kW及及 的性质得：的性质得：由于由于 与与 不相关不相关(正交正交),),且均值为且均值为0 0，1k
23、W121,kZ ZZ所以所以2005-11-511()kkE WZ1kEW111111cov(,)()()0kkkkkWZDZZEZ同理可得同理可得1()kkEV Z1()kkE Z Z1()kkkkE H XV Z1()kkkE H X Z1kkkkH XH,11k kkX,1k kZ令令11kk kk kZZZ11kk kk kXXX则第则第k k时刻的最优估计为时刻的最优估计为1k kX,11k kkX式（式（8.6.1）简化为）简化为 2005-11-5kX1()kkE XZkkK Z,11k kkX,11kkkk kkKZHX11kk kk kKE XZ111()k kk kE ZZ
24、其中其中11()k kk kE ZZ1kkkk kH PHR1k kP11k kk kE XX111kk kk kk kE XZPH由于由于kK 1kk kPH11kkkk kH PHR由此得由此得2005-11-51k kP1kk kE XX1kk kXX,1111,11()k kkkkk kkEXWX,1111,11()k kkkkk kkXWX,11,1k kkk kP111kkkQ111kkkPE XX11kkXX式中式中1)k kX1)k kX111kkkPE XX11kkXX1(kkkkk kE XXKXH1(kkkkk kXXKXH1()()kkkkkkkk kIK HPIK H
25、K R K则则2005-11-51()kkkk kPIK HP式式(8.6.4)可进一步简化为可进一步简化为,1kk kX1,1kkkkk kXK ZH1kX111kkkkkk kk kKPHH PHR,11,11111k kkk kkkkk kPPQ1()kkkk kPIK HP到此已推出一整套卡尔曼滤波算式，可归纳如下：到此已推出一整套卡尔曼滤波算式，可归纳如下：00,1,i iiiiiP XHR Q当当 为已知时，可以根据观测值为已知时，可以根据观测值1,X2X L地推估计出系统的状态变量：地推估计出系统的状态变量：。2005-11-51kkxx 1,2,k 1kkkzxv 1,2,k
26、13z 22R 23z 1/002PP010123PKPR例例8.6.18.6.1 考虑由数量方程考虑由数量方程00(0,)xNP所定义的随机过程，其中所定义的随机过程，其中 ，观测方程为，观测方程为(0,)kkvNR02P 11R 其中观测噪声其中观测噪声 白噪声序列。设白噪声序列。设 ，1,2k()x k()x k试求出试求出 时状态的时状态的 的卡尔曼滤波值的卡尔曼滤波值 。解解:由公式可知由公式可知：2005-11-50110112P RPPR滤波误差为滤波误差为2/1123PP111214PKPR112211(1)(1)24xxKzx 重复上述步骤，进一步递推，可得重复上述步骤，进一
27、步递推，可得1221212PRPPR此时滤波误差为此时滤波误差为2P1P显然显然 小于小于 ，即第二步滤波结果比第一步滤波，即第二步滤波结果比第一步滤波更准确更准确 2005-11-5几点说明几点说明:(1)(1)对随机过程进行的观测与递推估计的次数越对随机过程进行的观测与递推估计的次数越多时，零均值的观测噪声多时，零均值的观测噪声 由于相互抵消而引由于相互抵消而引起的误差越来越小，滤波值就越来越准确。起的误差越来越小，滤波值就越来越准确。kvPPkP(2)(2)并不是任何系统并不是任何系统 都有极限都有极限 ,对于完全能对于完全能控能观的线性定常系统，极限控能观的线性定常系统，极限 存在。存在。0P(3)(3)在实际问题中在实际问题中 往往未知，对于完全能控往往未知，对于完全能控 观的线性定常系统可任取对称正定阵观的线性定常系统可任取对称正定阵 。当当 充分大时，充分大时，,滤波结果几乎不受影响。滤波结果几乎不受影响。kPPk00P 能能
