最小二乘法理论推导算法

来源：互联网发布：电脑装完系统没有网络编辑：程序博客网时间：2024/04/20 12:16

1、引言

假定x, y有如下数值：
y　|　1.00　|　0.90　|　0.90　|　0.81　|　0.60　|　0.56　|　0.35
x　|　3.60　|　3.70　|　3.80　|　3.90　|　4.00　|　4.10　|　4.20

解：将这些数值画图可以看出接近一条直线，故用y=ax+b表示，故将上面的数值代入表达式有：

3.6 a + b - 1.00 = 0 3.7 a + b - 0.90 = 0 3.8 a + b - 0.90 = 0 3.9 a + b - 0.81 = 0 4.0 a + b - 0.60 = 0 4.1 a + b - 0.56 = 0 4.2 a + b - 0.35 = 0

由于直线只有两个未知数a, b，理论上只需要两个方程就能求得，但是实际上是不可能的，因为所有点并没有真正的在同一条直线上，即不可能所有的数值都满足

a x + b - y ＝ 0

，故只需找到一对儿

a、

b，使得误差平方和

\sum (a x i + b - y i) 2 = (a x 0 + b - y 0) 2 + (a x 1 + b - y 1) 2 + . . . . . . + (a x n + b - y n) 2

最小即可。

误差的平方即二乘方，故成为最小二乘法。

⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ a 11 x 1 + a 12 x 2 + . . . + a 1 s x s - b 1 = 0, a 21 x 1 + a 22 x 2 + . . . + a 2 s x s - b 2 = 0, . . . . . . a n 1 x 1 + a n 2 x 2 + . . . + a n s x s - b n = 0, (1)

该方程组可能无解，即任何一组x1,x2,...,xs（这里为系数）都可能使得

\sum i = 1 n (a i 1 x 1 + a i 2 x 2 + . . . + a i s x s - b i) 2 (2)

不等于零。所以找到一组x1,x2,...,xs使得(2)式最小，称这样的解为最小二乘解，这种问题就叫最小二乘方问题。

对于（１）式，我们可以用矩阵来表示，
自变量矩阵A:

A = ⎡ ⎣ ⎢ ⎢ ⎢ a 11 a 21 . a n 1 a 12 a 22 . a n 2 . . . . . . . . . . a 1 s a 2 s . a n s ⎤ ⎦ ⎥ ⎥ ⎥ (3)

函数值B:

B = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ b 1 b 2 . . . b n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ (4)

系数X:

X = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ x 1 x 2 . . . x s ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ (5)

函数值Y:

Y = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \sum j = 1 s a 1 j x j \sum j = 1 s a 2 j x j . . . \sum j = 1 s a n j x j ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ = A X (4)

故（２）式等价于：

| Y - B | 2 = | A X - B | 2 = \sum i = 1 n (a i 1 x 1 + a i 2 x 2 + . . . + a i s x s - b i) 2

也就是说，最小二乘法就是找x1,x2,...,xs使得Y与B的距离最短。

对于（4）式Y，可以写为如下形式：

Y = x 1 ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ a 11 a 21 . . . a n 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ + x 2 ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ a 12 a 22 . . . a n 2 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ + . . . + x s ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ a 1 s a 2 s . . . a n s ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ = x 1 α 1 + x 2 α 2 + . . . + x s α s (5)

其中αi为对应的列向量，由αi生成的子空间为L(α1,α2,...,αs),那么Y就是L(α1,α2,...,αs)中的向量，故最小二乘法问题可叙述成：

找X使得（2）式最小，就是在L(α1,α2,...,αs)中找一向量Y使得B到它的距离比到子空间L(α1,α2,...,αs)中其它向量的距离都短。

设Y=AX=x1α1+x2α2+...+xsαs，则

C = B - Y = B - A X

必须垂直于子空间L(α1,α2,...,αs)，故有

(C, α 1) = (C, α 2) = . . . = (C, α s) = 0

由向量内积的定义可知：

α' 1 C = 0, α' 2 C = 0, . . ., α' s C = 0 (6)

向量的内积：
α=(a1,a2,...,an),
β=(b1,b2,...,bn),
则α和β的内积为：(α,β)=a1b1+a2b2+...+anbn

由（6）式可得：

A' C = 0

即：

A' C = A' (B - Y) = A' (B - A X) = 0

从而有：

A' B - A' A X = 0

A' B = A' A X

X = (A' A) - 1 A' B

其中|A′A|≠0

根据2.1节，可以得出以下形式(s+1≤n):

⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ a 1 x 11 + a 2 x 12 + . . . + a s x 1 s + b - y 1 = 0, a 1 x 21 + a 2 x 22 + . . . + a s x 2 s + b - y 2 = 0, . . . . . . a 1 x n 1 + a 2 x n 2 + . . . + a s x n s + b - y n = 0, (2.2.1)

这里是常见的方程表示形式aj为系数，b为常数项,xij为自变量，yi为函数值。一般我们解方程都是根据aj和b求得yi=a1xi1+a2xi2+...+asxis+b，但在解决实际问题时，一般我们都是知道xij和yi，需要反过来求解aj和b。

根据（2.2.1）式，设：

X = ⎡ ⎣ ⎢ ⎢ ⎢ x 11 x 21 . x n 1 x 12 x 22 . x n 2 . . . . . . . . . . x 1 s x 2 s . x n s 1111 ⎤ ⎦ ⎥ ⎥ ⎥

a = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ a 1 a 2 . . . a s b ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

y = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ y 1 y 2 . . . y n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

那么：

X a = y

X' X a = X' y

a = (X' X) - 1 X' y

1、输入X，y

2、求a=(X′X)−1X′y

《高等代数》北大三版

阅读全文

0 0