正交多项式最小二乘法拟合 数学原理

 

最近在工程的开发中，需要用到最小二乘法来拟合曲线，这里就将相关资料展示出来，后期开发中的算法也会陆续写出来。

在科学领域，为确定客观存在的变量之间的函数之间的关系，须根据大量的实验、观测、或者社会调查所得的数据建立函数关系式。这些数据中往往带有随机的误差，但有时却无法重新采集，如果利用这些数据按插值法求函数关系的近似表达式，必然将不合里的误差（形象的称为“噪音”）带入函数关系式中来！我们如何做到在平方误差最小的原则下最接近？这就是最小二乘拟合(数据拟合的最小二乘法)的思想！

6.5　用正交多项式作最小二乘拟合

　　我们不仅可用多项式来拟合函数，还可用一般的函数来拟合。

　　定义6.1 若，如果

　　

　　当且仅当时成立，则称在上线性无关，称为上线性无关族。

　　最小二乘法的一般提法为：对给定的一组数据，要求在函数类中找一个函数，使加权平地均和，其中

　　

　　这里是线性无关的函数族，是上的权函数，点处的表示该点数据的重要程度。

求误差函数的极小值点，由多元函数极值的必要条件

　　

　　得：

　　

　　这是个未知数个方程的方程组，称为法方程式。

　　定义6.2：称为与关于点集的内积。

　　这样，法方程式可简写为，记为，其中

　　

　　称为克莱姆行列式，记作。

　　定理6.2 的充要条件是线性无关。

　　证明：若存在使

　　对此式两边分别取与的内积得：

　　

　　这是一个以为未知数的齐次方程组，有非零解的充要条件是系数矩阵行列式等于零，于是的充要条件是方程有全零解，即全为0，所以线性无关。证毕。

　　由于法方程有惟一解的充要条件是，因而线性无关也是法方程有惟一解的充要条件。特别当取为时，由于是在中的线性无关函数族，因而必有最小二乘解。

　　用上的多项式拟合，需要解一个的线性方程组，且当取得大一此时，法方程的系数矩阵会出现病态。从系数矩阵B的形式看，里面的元素都是些内积，是否能取某些函数族，使对非对角元素全变为0？如果有这样的函数族，那么方程容易解，病态也得到改善。

　　定义6.3 函数族如果在点集上满足

　　

　　称为点集带权的正交函数族。

　　例6.7 三角函数族上是正交函数族（权）.

　　实际上，而

　　

　　

　　

　　如果拟合函数在上取，且是正交函数族，则法方程式成为：

　　

　　直接可得到，不用解线性方程组了。

　　且容易估算，是否病态也容易判断。

　　完成以上工作的关键在于如何构造正交函数族。

　　正交多项式是最简单的正交函数族。常用的正交多项式如：Chebyshev（切比雪夫）多项式、Legendre（勒让德）多项式等。

　　现在我们根据给定结点及权函数，造出带权正交的多项式族，用递推公式表示如下：

　　

　　其中

　　

　　这样给出的是正交的，这一点可以用归纳法证明。

　　例6.8 已知函数表，利用正交多项式求拟合多项。

	1	2	3	4
	4	10	18	26
	1	1	1	1

　　解：设

　　

　　所以：

　　

　　

　　所以：

　　

　　所以：

　　得：