贝叶斯线性回归

来源：互联网发布：js获取对象的key 编辑：程序博客网时间：2024/06/01 10:48

贝叶斯线性回归

令 $S=\left \{ (x^i,y^i) \right \}_{i}^{m}$ 为一组观测数据，它们独立同分布，且 $y^{(i)}=\theta^T x^{(i)}+\epsilon ^{(i)}$ 。其中 $\epsilon ^{(i)}$ 是噪声，其服从高斯分布N(0, σ^2)。然后我们以此为依据，对点 $x^*$ 的输出 $y^*$ 的分布进行估计。

在一般的线性回归中，我们将参数θ视为一个未知的常数从而求它的值；而在贝叶斯线性回归中，我们将θ看作一个随机变量，所以在估计 $y^*$ 的时候估计的也是 $y^*$ 的分布。假定我们已经知道参数θ的先验分布，通常可以认为 $\theta \sim (0, \tau^2 I)$ 。有了观测数据和θ的先验分布，根据贝叶斯定理我们可以得到参数的后验估计：

$p(\theta|S)=\frac{p(\theta)p(S|\theta)}{\int_{\theta^{'}}^{ } p(\theta^{'})p(S|\theta^{'})d\theta^{'}} =\frac{p(\theta)\prod_{i=1}^{m}p(y^{(i)}|x^{(i)},\theta)}{\int_{\theta^{'}}^{ }p(\theta^{'})\prod_{i=1}^{m}p(y^{(i)}|x^{(i)},\theta^{'})d\theta^{'}}$

有了参数的后验估计，从而可得到 $y^*$ 的分布：

$p(y_*|x_*,S)=\int_{\theta}^{ }p(y_*|x_*, \theta)p(\theta|S)d\theta$

当θ的先验分布为高斯分布时，考虑到误差 $\epsilon$ 也是高斯分布，可以将θ和 $\epsilon$ 作为联合高斯分布考虑。联合高斯分布的条件分布也是高斯分布，通过计算可得：

$\theta|S \sim N(\frac{1}{\sigma ^2}A^{-1}X^T\vec{y}, A^{-1})$

$y_*|x_*,S \sim N(\frac{1}{\sigma^2}x_* ^T A^{-1}X^T \vec{y}, \: x_* ^TA^{-1}x_*+\sigma^2)$

相比于一般的线性回归，贝叶斯线性回归预测的是输出值的分布，即对于每一个可能出现的 $y^*$ ，都有相应的置信度。

参考 http://blog.csdn.net/daunxx/article/details/51725086

0 0