曲线拟合的几种解释

曲线拟合是一个经典的问题，将其数学化后是：已知训练数据x和对应的目标值t。通过构建参数为w的模型，当新的x出现，对应的t是多少。

本文将从误差和概率的角度探讨如何解决曲线拟合的问题，具体地，将阐述以下概念：

• 误差函数
• 正则化
• 最大似然估计（MLE）
• 最大后验估计（MAP）
• 贝叶斯

误差角度

误差函数

直观的解决思路是最小化训练误差，公式如下：

minw12∑n=1N{y(xn,w)−tn}2

正则化

上面的方法会遇到过拟合的问题，所以可以加上正则化的参数避免过拟合，改进后的公式如下：

minw12∑n=1N{y(xn,w)−tn}2+λ2∥w∥2

概率角度

高斯分布假设

假设每个点都服从均值不一样方差一样的高斯分布，均值为y(xn,w)，方差为β−1。那么，每个点的的概率分布是：

p(t|x,w,β)=N(y(xn,w),β−1)

最大似然估计

为了求出上面的概率分布，首先要求出模型w的值，假设每个点之间相互独立，那么似然函数为：

p(t|x,w,β)=∏n=1NN(tn|y(xn,w),β−1)

对上式取log，并最大化，得到：

maxwlnp(t|x,w,β)=−β2∑n=1N{y(xn,w)−tn}2+N2lnβ−N2ln(2π)

计算w只和上式右边的第一项有关，可以看到，最大似然的结果等同于误差函数的结果，也就是MLE等同于sum squared error function。

最大后验估计

根据MLE，我们可以得到模型w的参数，并且可以计算出p(t|x,w,β)似然函数进而求得对应点的值，可是这样同样存在过拟合的问题，为了解决这个问题，我们引入了先验估计，并结合似然函数计算出了后验估计。

假设w的先验估计如下：

p(w|α)=N(w|0,α−1I)

根据后验估计等于似然函数乘以先验估计，也就是

p(w|x,t,α,β)∝$p(t|x,w,β)p(w|α)

同样适用最大似然估计的方法，不过这里不是作用在似然函数上，而是作用在后验分布上，我们得到：

minwβ2∑n=1N{y(xn,w)−tn}2+α2∥w∥2

因此可以看到：

• 最大化似然函数等同于最小化SSE。
• 最大化后验分布等同于最小化SSE加上regulation。

贝叶斯

所谓贝叶斯，就是多次重复使用概率中的和规则和积规则。

为了方便，下文中认为α,β是固定的，在公式中省略了这两者，公式如下：

p(t|x,x,t)=∫p(t|x,w)p(w|x,t)dw