离散内积与最小二乘

在数据拟合时，通常要根据已知节点来构造离散范数，并在新的范数的1意义下拟合。

离散内积：
函数f，g的关于离散点列{xi}ni=0的离散内积为：

(f,g)h=∑i=0nf(xi)g(xi)

由此可以定义离散范数：
函数f的离散范数为：

||f||h=(f,f)h‾‾‾‾‾‾√

这种内积定义的范数和向量的2范数一致。

曲线拟合

1.给出一组离散点，确定一个函数逼近原函数。
2.离散点的函数值时观察得到的，肯定有误差。
3.新的逼近手段：
—不要求经过所有的点
—尽可能表现数据的趋势，且靠近这些点
4.这种方法就是曲线拟合：需要在给定函数空间Φ上找到函数ϕ, 使得ϕ到原函数f的距离最短。ϕ就叫做f在Φ上的拟合曲线。

最小二乘问题

如上类似，给定函数空间Φ和{xi}mi=0为互不相同的点，找到ϕ使得

R2=∑i=0m(ϕ(xi)−f(xi))2‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾⎷

最小。

设Φ=span{ϕ0,ϕ1,⋯,ϕn}

ϕ(x)=a0ϕ0(x)+a1ϕ1(x)+⋯+anϕn(x)

则最小二乘问题为

||f(x)−(a0ϕ0(x)+a1ϕ1(x)+⋯+anϕn(x))||h

关于系数{a0,a1,⋯,an}最小。

求解：

||f(x)−(a0ϕ0(x)+a1ϕ1(x)+⋯+anϕn(x))||2h=||f||2h−2(f,a0ϕ0(x)+a1ϕ1(x)+⋯+anϕn(x))h+||a0ϕ0(x)+a1ϕ1(x)+⋯+anϕn(x)||2h=||f||2h−s∑k=0nak(f,ϕk)h+∑i,k=0naiak(ϕi,ϕk)h=Q(a0,a1,⋯,an)

关于系数{a0,a1,⋯,an}最小, 那么

∂Q∂ai=0,i=0,1,⋯,n

也即：

∑k=0nak(ϕi,ϕk)h=(f,ϕi)h,i=0,1,⋯,n

可以写成矩阵形式，由线性无关可知，上述方程组有解。