1、卡尔曼滤波（Kalman Filter）与粒子滤波（PF：Particle Filter）卡尔曼全名Rudolf Emil Kalman，匈牙利数学家，1930年出生于匈牙利首都布达佩斯。1953，1954年于麻省理工学院分别获得电机工程学士及硕士学位。1957年于哥伦比亚大学获得博士学位。我们现在要学习的卡尔曼滤波器，正是源于他的博士论文和1960年发表的论文A New Approach to Linear Filtering and Prediction Problems（线性滤波与预测问题的新方法）。卡尔曼滤波（Kalman Filter）what is kalman filter?卡尔
2、曼滤波的一个典型实例是从一组有限的，包含噪声的，对物体位置的观察序列（可能有偏差）预测出物体的位置的坐标及速度。在很多工程应用(如雷达、计算机视觉)中都可以找到它的身影。同时，卡尔曼滤波也是控制理论以及控制系统工程中的一个重要课题。例如,对于雷达来说，人们感兴趣的是其能够跟踪目标。但目标的位置、速度、加速度的测量值往往在任何时候都有噪声。卡尔曼滤波利用目标的动态信息，设法去掉噪声的影响，得到一个关于目标位置的好的估计。这个估计可以是对当前目标位置的估计(滤波)，也可以是对于将来位置的估计(预测)，也可以是对过去位置的估计(插值或平滑)。对于解决很大部分的问题，他是最优，效率最高甚至是最有用的。
3、他的广泛应用已经超过30年，包括机器人导航控制，传感器数据融合甚至在军事方面的雷达系统以及导弹追踪等等。近年来更被应用于计算机图像处理，例如人脸识别，图像分割，图像边缘检测等等。现代汽车中的悬架分为从动悬架和主动悬架两种。从动悬架即传统式的悬架，是由弹簧、减震器、导向机构等组成，它的功能是减弱路面传给车身的冲击力，衰减由冲击力而引起的承载系统的震动。其中弹簧主要起减缓冲击力的作用，减震器的作用是衰减震动。从动悬架是由外力驱动而起作用的。主动悬架是近十几年发展起来的由电脑控制的一种新型悬架。主动悬架的控制环节中安装了能够产生主动力的装置，采用一种以力抑制力的方式来抑制路面对车身的冲击力及车身的倾
4、斜力。汽车的液压主动悬架系统在控制过程中不可避免的受到噪声的影响。应用卡尔曼滤波对系统的状态向量做最优估计，并应用到系统的全状态反馈控制中，可以有效的提高系统的鲁棒性卡尔曼滤波器应用举例我们先要引入一个离散控制过程的系统。该系统可用一个线性随机微分方程（Linear Stochastic Difference equation）来描述：X(k)=A X(k-1)+B U(k)+W(k)再加上系统的测量值：Z(k)=H X(k)+V(k)上两式子中，X(k)是k时刻的系统状态，U(k)是k时刻对系统的控制量。A和B是系统参数，对于多模型系统，他们为矩阵。Z(k)是k时刻的测量值，H是测量系统的参
5、数，对于多测量系统，H为矩阵。W(k)和V(k)分别表示过程和测量的噪声。他们被假设成高斯白噪声(White Gaussian Noise)（跟时间是没有关系的而且符合高斯分布（Gaussian Distribution）。他们的covariance 分别是Q(过程)，R(测量)（这里我们假设他们不随系统状态变化而变化）。对于满足上面的条件(线性随机微分系统，过程和测量都是高斯白噪声)，卡尔曼滤波器是最优的信息处理器。1.首先我们要利用系统的过程模型，来预测下一状态的系统。假设现在的系统状态是k，根据系统的模型，可以基于系统的上一状态而预测出现在状态：X(k|k-1)=A X(k-1|k-1)
6、+B U(k)(1)(预测结果)式(1)中，X(k|k-1)是利用上一状态预测的结果，X(k-1|k-1)是上一状态最优的结果，U(k)为现在状态的控制量，如果没有控制量，它可以为0。2.到现在为止，我们的系统结果已经更新了，可是，对应于X(k|k-1)的covariance还没更新。我们用P表示covariance：P(k|k-1)=A P(k-1|k-1)A+Q (2)(预测系数)式(2)中，P(k|k-1)是X(k|k-1)对应的covariance，P(k-1|k-1)是X(k-1|k-1)对应的covariance，A表示A的转置矩阵，Q是系统过程的covariance。式子1，2就
7、是卡尔曼滤波器5个公式当中的前两个，也就是对系统的预测。3.现在我们有了现在状态的预测结果，然后我们再收集现在状态的测量值。结合预测值和测量值，我们可以得到现在状态(k)的最优化估算值X(k|k)：X(k|k)=X(k|k-1)+Kg(k)(Z(k)-H X(k|k-1)(3)(预测与测量组合结果)=(1-Kg(k)H)*X(k|k-1)+Kg(k)*Z(k)4.其中Kg为卡尔曼增益(Kalman Gain)：Kg(k)=P(k|k-1)H/(H P(k|k-1)H+R)(4)(增益系数)5.到现在为止，我们已经得到了k状态下最优的估算值X(k|k)。但是为了要另卡尔曼滤波器不断的运行下去直到
8、系统过程结束，我们还要更新k状态下X(k|k)的covariance：P(k|k)=(I-Kg(k)H)*P(k|k-1)(5)(更新预测系数)其中I 为1的矩阵，对于单模型单测量，I=1。当系统进入k+1状态时，P(k|k)就是式子(2)的P(k-1|k-1)。这样，算法就可以自回归的运算下去。卡尔曼滤波器的介绍例子理解这5条公式。假设我们要研究的对象是一个房间的温度。根据你的经验判断，这个房间的温度是恒定的，也就是下一分钟的温度等于现在这一分钟的温度（假设我们用一分钟来做时间单位）。假设你对你的经验不是100%的相信，可能会有上下偏差几度。我们把这些偏差看成是高斯白噪声（White Gau
9、ssian Noise），也就是这些偏差跟前后时间是没有关系的而且符合高斯分配（Gaussian Distribution）。另外，我们在房间里放一个温度计，但是这个温度计也不准确的，测量值会比实际值偏差。我们也把这些偏差看成是高斯白噪声。好了，现在对于某一分钟我们有两个有关于该房间的温度值：你根据经验的预测值（系统的预测值）和温度计的值（测量值）。下面我们要用这两个值结合他们各自的噪声来估算出房间的实际温度值。假如我们要估算k时刻的是实际温度值。首先你要根据k-1时刻的温度值，来预测k时刻的温度。因为你相信温度是恒定的，所以你会得到k时刻的温度预测值是跟k-1时刻一样的，假设是23度(公式1
10、*)，同时该值的高斯噪声的偏差是5度（5是这样得到的：如果k-1时刻估算出的最优温度值的偏差是3，你对自己预测的不确定度是4度，他们平方相加再开方，就是5(公式2)）。然后，你从温度计那里得到了k时刻的温度值，假设是25度，同时该值的偏差是4度。由于我们用于估算k时刻的实际温度有两个温度值，分别是23度和25度。究竟实际温度是多少呢？相信自己还是相信温度计呢？究竟相信谁多一点，我们可以用他们的covariance来判断。因为Kg2=52/(52+42)(公式4)，所以Kg=0.78，我们可以估算出k时刻的实际温度值是：23+0.78*(25-23)=24.56度(公式3)。可以看出，因为温度计
11、的covariance比较小（比较相信温度计），所以估算出的最优温度值偏向温度计的值。现在我们已经得到k时刻的最优温度值，下一步就是要进入k+1时刻，进行新的最优估算。在进入k+1时刻之前，还要算出k时刻那个最优值（24.56度）的偏差。算法如下：(1-Kg)*52)0.5=2.35(公式5)。这里的5就是上面的k时刻你预测的那个23度温度值的偏差，得出的2.35就是进入k+1时刻以后k时刻估算出的最优温度值的偏差（对应于上面的3）。就是这样，卡尔曼滤波器就不断的把covariance递归，从而估算出最优的温度值。滤波限制条件比较苛刻，它要求系统模型精确以及系统误差模型和观测误差模型已知，这在
12、实际应用中是很难满足的，或者在系统工作过程中，模型发生变化，这些都导致传统KF的滤波发散或精度下降。计算机字长的限制，这种情况可能导致计算过程中出现舍入误差，从而导致方差阵P(k|k)不对称引起滤波发散。观测数据发生突变，由于传感器故障或外部条件发生改变，极有可能出现数据突变，即野值，这会对滤波器的收敛性产生严重影响，甚至导致发散，可以说，野值是对滤波器稳定性的一个考验。卡尔曼滤波器的不足之处针对上述不足，很多学者提出了不同的方法加以克服，如限定记忆法、平方根滤波、渐消记忆滤波、自适应卡尔曼滤波（AKF）、抗野值滤波等。其中，AKF因为具有自适应特性非常适合动态系统滤波而受到广泛重视。因此，在
13、采用卡尔曼滤波处理动态测量数据时，一般都要考虑采取适当的自适应滤波方法来解决这一问题。卡尔曼滤波的发展自适应卡尔曼滤波相关自适应卡尔曼滤波多模型自适应卡尔曼滤波基于信息的自适应卡尔曼滤波神经网络自适应卡尔曼滤波模糊逻辑自适应卡尔曼滤波最基本的一种AKF方法，相关法分为两类：输出相关法和信息相关法。输出相关法的主要思想是利用观测向量的相关性M(k)=EZ(k)ZT(k)自适应调整增益矩阵K(k)。缺陷：这种方法的主要缺陷是计算复杂，实时性难以满足要求。信息相关法自适应滤波的主要思想是利用信息的相关性M(k)=E(V(k)VT(k)自动调整增益矩阵K(k)，其中V(k)=Z(k)-C(k)X(k)
14、。信息相关法比输出相关法更加有效，因为信息更能反映观测数据特性，但是信息相关法计算复杂度却有所增加，很难满足工程需要。相关AKF它由一组卡尔曼滤波器组成，每一个卡尔曼滤波器使用不同的系统模型，各个卡尔曼滤波器并行运行，根据观测向量估计各自的状态。随着时间的不断增加，系统会选出最优的一个滤波器并将其权值增大，而其它权值相应减小。多模型AKF性能最优的前提条件是所用的模型集包含了系统所有可能的模式，但是这个前提条件往往是很难满足的。多模型AKF基于信息的AKF主要是通过调整噪声统计特性达到自适应的目的，解决了因为噪声统计特性不明确或噪声发生变化的情况。但是对于系统其它模型发生变化不能达到自适应的目
15、的。基于信息的AKF神经网络作为人工智能技术中的一个领域，其主要优点在于它对系统的模型没有特别要求，只要有足够的用于训练的先验数据，就可以用训练的神经网络近似代替原系统。神经网络AKF可以满足系统其它模型不正确或者发生变化的问题。神经网络AKF卡尔曼滤波器通常要求系统动态过程和噪声都是确定的，且系统噪声和量测噪声都是零均值白噪声，如果系统存在模型误差或噪声不确定就有可能导致卡尔曼滤波器发散。模糊逻辑自适应卡尔曼滤波器，它能够连续调整滤波器模型中的噪声力度，从而防止滤波器发散。模糊逻辑AKF粒子滤波（PF：Particle Filter）粒子滤波是从上世纪90年代中后期发展起来的一种新的滤波算法
16、，其基本思想是用随机样本来描述概率分布，然后在测量的基础上，通过调节各粒子权值的大小和样本的位置，来近似实际概率分布，并以样本的均值作为系统的估计值，有效克服了推广卡尔曼滤波的缺点。但自身也有一些弱点，粒子滤波的计算量较大;然而，随着计算机处理能力的不断增强，早期限制粒子滤波应用的硬件运算能力等障碍正逐渐消失。粒子滤波技术在非线性、非高斯系统表现出来的优越性，决定了它的应用范围非常广泛。另外，粒子滤波器的多模态处理能力，也是它应用广泛的原因之一。国际上，粒子滤波已被应用于各个领域。在经济学领域，它被应用在经济数据预测；在军事领域已经被应用于雷达跟踪空中飞行物，空对空、空对地的被动式跟踪；在交通
17、管制领域它被应用在对车或人视频监控；它还用于机器人的全局定位。粒子滤波（PF）粒了滤波是指:通过寻找一组在状态空间中传播的随机样本对概率密度函数 进行近似，以样本均值代替积分运算，从而获得状态最小方差估计的过程，这些样本即称为“粒子”。采用数学语言描述如下:对于平稳的随机过程，假定k一1时刻系统的后验概率密度为 ，依据一定原则选取n个随机样本点，k时刻获得测量信息后，经过状态和时间更新过程，n个粒子的后验概率密度可近似为 。随着粒了数日的增加，粒了的概率密度函数逐渐逼近状态的概率密度函数，粒子滤波估计即达到了最优贝叶斯估计的效果。)(kkZXP)(11kkZXP)(kkZXP一、贝叶斯估计 贝
18、叶斯估计是粒子滤波方法的理论基础,是一种利用客观信息和主观信息相结合的估计方法,它不仅考虑了样本的客观信息,还考虑了人为的主观因素,能够很好地处理观测样本出现异常时的情况。对于待估计的参数,贝叶斯估计在抽取样本前先给出该参数的先验分布,并结合样本信息可以得到参数的后验分布信息。假定动态时变系统描述如下:式中，为系统状态，为n维向量函数，为m维向量函数，为n维随机过程噪声，为m维随机测量噪声。)1(),(),(11kkkkkkkkWXhZVXfXkXkfkhkVkW一、贝叶斯估计 若已知状态的初始概率密度函数为 则状态预测方程为:（2）状态更新方程为:（3）)()(000XPZXP)()()()
19、(1:11:11:1kkkkkkkkZZPZXPXZPZXP11:1111:1)()()(kkkkkkkdxzxPxxPzxP一、贝叶斯估计 式中归一化常量 （4）它取决与似然函数 及测量噪声的统计特性。kkkkkkkdXZXPXZPZZP)()()(1:11:1)(kkXZP二、粒子滤波算法 粒子滤波本质就是将积分运算变为有限样本点的求和运算,即状态概率密度分布可用如下经验概率分布来近似表述)(1)(:01:1:0kNiikkkdxxNzxP二、粒子滤波算法 当接受到新的观测数据时,实时更新每个粒子的权值。随着时间的增加,重要性权值的分布变得越来越倾斜,有可能出现粒子匮乏现象。为了避免粒子匮
20、乏,Gordon 等提出了重采样方法,其主要思想是去除那些权值小的粒子,复制权值大的粒子。最后,更新概率密度函数可以表示为 )()(1:1ikkNiikkkxxzxP二、粒子滤波算法 PF 的具体实现步骤如下:步骤1 初始化 采样 即根据 分布采样得到 步骤 2 重要性权值计算 采样 计算重要性权值如下 归一化重要性权值0k)(00 xPxi)(0 xPNizxxqxkoikkik,.2,1),(:1:0NizxxqxxPxzPkikikikikikkikik,.2,1,),()()(:01:011Niikikik1Nixi,.2,1,0二、粒子滤波算法 步骤3 重采样 从 集合中根据重要性权
21、值 重新采样得到新的N个粒子的集合 ，并重新分配粒子权值 步骤4 输出 状态估计:方差估计:ikNixi,.2,1,0Nikik1ikNiikkxx1TkikkikNiikkxxxxP)(1Nixik,.2,1,如图形象地表示概率密度的加权采样表达。在概率密度函数曲线下方的黑点的位置表示了样本的取值，黑点的大小则表示了样本所带权重的大小。不难注意到，样本密集的区域和具有较大权重样本所处的区域都对应概率密度高的区域。我们可以用下图形象地表示重采样粒子滤波的一般过程，其中黑点位置及其尺寸大小的意义与上图相同。二、粒子滤波算法 三、粒子滤波算法存在的主要问题 经过几次迭代,除一个粒子以外,所有的粒子
22、只具有微小的权值,称为退化问题。退化现象意味着大量的计算工作都被用来更新那些对 的估计几乎没有影响的粒子上。减小这一不利影响的首要方法是增加粒子数目。因为粒子滤波的实质是大数定理,取足够多的样本就可以使样本均值以概率1趋于数学期望。在实际应用中,为了获得对后验分布更高的逼近精度,需要适当地增加粒子个数。降低该现象影响的最有效方法是选择重要性函数和采用重采样方法。)(:1kkzxq二、粒子滤波算法（1）重要性函数选择 选取好的重要性概率密度函数可以有效抑制退化问题,从而减小需要的粒子数目,提高运行速度。出于降低重要性权值的方差、提高抽样效率的目的,重要性概率密度函数应尽可能地接近系统状态后验概率
23、。选取重要性函数的准则是使重要性权重的方差最小。二、粒子滤波算法（2）重采样 重采样算法是降低粒子匮乏现象的另一种方法,其思想是通过对粒子和相应权表示的概率密度函数重新采样,增加权值较大的粒子数。其方法是对后验密度的离散近似表示式（6）再进行一次采样,生成一个新的粒子集,该粒子集构成后验密度离散近似的一个经验分布。在采样总数仍保持为的情况下,权值较大的样本被多次复制,从而实现重采样过程。显然,重采样过程是以牺牲计算量和鲁棒性来降低粒子数匮乏现象。“粒子滤波”这个基本称呼是统计学学者使用的，他们是这一方法的创始人 有 的 时 候 也 被 以“序 贯 重 要 性 采 样 (s e q u e n t i a l importance sampling,SIS)称呼，以突出重要性加权的作用和地位。在人工智能领域，这一方法也被称为“适者生存”(survival of the fittest)。计算机视觉是迄今为止粒子滤波最为活跃的应用场合，研究计算机视觉的人喜欢把粒子滤波称为所谓Condensation算法谢谢！
