7.2 相关向量机

⽀持向量机被⽤于⼀系列的分类和回归的应⽤中。尽管这样，⽀持向量机还是有许多局限性，SVM的输出是⼀个决策结果⽽不是后验概率。并且，SVM最开始⽤于处理⼆分类问题，因此推⼴到 K>2 类有很多问题。有⼀个复杂度参数 C 或者 v 必须使⽤诸如交叉验证的方法确定。最后，预测是用核函数的线性组合表示的，核函数以训练数据点为中心，并且必须是正定的。
相关向量机（relevance vector machine）或者RVM是⼀个⽤于回归问题和分类问题的贝叶斯稀疏核方法，它具有许多SVM的特征，同时避免了SVM的主要的局限性。此外，它通常会产⽣更加稀疏的模型，从而使得在测试集上的速度更快，同时保留了可比的泛化误差。

1、用于回归的RVM

⽤于回归的相关向量机的形式是第3章研究过的线性模型的形式，但是先验概率有所不同，从而产⽣了稀疏解。模型定义了给定⼀个输⼊向量 x 的情况下，实值⽬标变量 t 的条件概率分布，形式为:

p(t∣x,ω,β)=N(t∣y(x),β−1)