卡尔曼滤波器学习之一最小二乘法

近期对卡尔曼滤波器很感兴趣，想趁着假期的时候好好学习一下。选择的教材是《Fundamentals of Kalman Filtering A Practical Approach, Third Edition》。本系列按照数据的章节顺序安排内容，本文的内容是书籍的第二章，最小二乘法。

最小二乘法

综述

我们的目标是尽可能的逼近真实信号，通过处理采集来的被噪声污染的信号。主要分为两步：
1. 使用一个多项式模型用于模拟真实信号。可用如下公式来描述模型：

anxn+an−1xn−1+...+a1x1+a0x0

2. 根据最小二乘法的准则，估计模型中的参数

零阶滤波器

假设有一组测量数据描述一个固定值，如何通过最小二乘法获得该固定值的最优估计。从多项式模型而言，即根据现实情况确定的模型是a0x0 = a0，需要根据最小二乘法估计参数a0的值。
假设有n个测量数据x∗k，假设最优估计为a0，则

R=∑k=1n(a0−x∗k)2

R为估计值与测量值差值平方的求和，如果使R取到最小值，则认为估计值a0为最优估计。当R的一阶导数等于零，二阶导数大于零时R取到最小值。

R=∑k=1n(a0−x∗k)2=(a0−x∗1)2+(a0−x∗2)2+...+(a0−x∗n)2

对R求一阶导：

∂R∂a0=0=2(a0−x∗1)+2(a0−x∗2)+...+2(a0−x∗n)

令R的一阶导数为零，则

a0=∑nk=1x∗kn

求二阶导：

∂2R∂a02=2+2+...+2=2n

当n取正时，R的二阶导总为正数。此时，R取到最小值。
上述例子告诉我们对固定值做最小二乘法的最优估计是将测试值取平均。

一阶滤波器

一阶滤波器主要用于解决的问题是寻找一条直线最好的匹配测量数据。同上，此问题的模型是x̂ =a1x1+a0x0，需要根据最小二乘法来估计a1与a0的值。

x̂ =a0+a1t=a0+a1(k−1)Ts

R=∑k=1n(x̂ k−x∗k)2=∑k=1n(a0+a1(k−1)Ts−x∗k)2

∂R∂a0=0=2(a0−x∗1)+...+2(a0+a1(n−1)Ts−x∗n)

∂R∂a1=0=2(a0+a1Ts−x∗2)Ts+...+2(n−1)Ts(a0+a1(n−1)Ts−x∗n)

已知对上述式子求二阶导，均大于零，可认为当R的一阶导取零时，R取到最小值。

na0+a1∑k=1n(k−1)Ts=∑k=1nx∗k

a0∑k=1n(k−1)Ts+a1∑k=1n[(k−1)Ts]2=∑k=1n(k−1)Tsx∗k

上述两个方程求解两个未知数，可以计算出结果a0与a1。

更高阶的滤波器可以通过相似的方法求解参数。

例子

例如，有如下一组测量数据，对其进行估计：

k(k−1)Tsx∗k101.2210.2322.9432.1

以图的方式展现出来：

最小二乘法结合多项式模型得到的参数估计：

OrderEquationsZerotha0=∑nk=1y∗knFirst

[a0a1]=⎡⎣⎢⎢⎢⎢⎢n∑k=1nxk∑k=1nxk∑k=1nxk2⎤⎦⎥⎥⎥⎥⎥−1⎡⎣⎢⎢⎢⎢⎢∑k=1ny∗k∑k=1nxky∗k⎤⎦⎥⎥⎥⎥⎥

Second

⎡⎣⎢⎢a0a1a2⎤⎦⎥⎥=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢n∑k=1nxk∑k=1nx2k∑k=1nxk∑k=1nx2k∑k=1nx3k∑k=1nxk2∑k=1nx3k∑k=1nx4k⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥−1⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢∑k=1ny∗k∑k=1nxky∗k∑k=1nx2ky∗k⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥

Third

⎡⎣⎢⎢⎢⎢a0a1a2a3⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢n∑k=1nxk∑k=1nx2k∑k=1nx3k∑k=1nxk∑k=1nx2k∑k=1nx3k∑k=1nx4k∑k=1nxk2∑k=1nx3k∑k=1nx4k∑k=1nx5k∑k=1nxk3∑k=1nx4k∑k=1nx5k∑k=1nx6k⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥−1⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∑k=1ny∗k∑k=1nxky∗k∑k=1nx2ky∗k∑k=1nx3ky∗k⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥

对于上述数据使用不同阶数的多项式模型对其进行建模，结果如下：

当多项式的阶数逐渐增加，R将减少并趋向于零。但是如果本身测量的值被噪声污染，则当R值减少并不一定是向真实值靠近，有可能出现更加原理真实值得情况。