贝叶斯线性回归(一)
来源:互联网 发布:淘宝店现在卖什么好卖 编辑:程序博客网 时间:2024/05/01 13:49
前段时间看完支持向量机(SVM),这两天在看相关向量机(RVM)。不同于SVM,RVM用贝叶斯的方法来解决有监督学习中经典问题回归和分类。同时,RVM还保留了SVM的一些特性,但是RVM的模型更为简单,对于同样的测试集似乎比SVM要快一点。关于更多SVM和RVM的比较是今后的任务,现在主要介绍下RVM的基本思想和原理。
SVM是从二元分类问题发展开来的,而RVM是从回归问题扩展开来的。因此,在正式介绍RVM之前,想讲讲贝叶斯线性回归。
观察值集合{xn},n=1, 2, ... , N,xi是维度为D的向量,以及相应的目标值集合{tn},组成了测试集。需要构造一个判别函数,对于一个新的输入x来预测它的目标值t。回归模型就是构造了一个从x到t的映射关系:
其中为基函数,基函数是已知的,有多种形式可以选择。x是维度为D的向量,表示测试集中的观察值。w是维度M的向量,是我们要求的参数,这M个参数确定了,从x到t的映射也就确定了。当然还需要确定基函数的形式和M的大小,这就涉及到模型选择的问题,假设这些都是事先确定好的。通过测试集{xn}和{tn}来求M个参数w,就是一个训练的过程。
最大释然概率(Maximum likelihood)可以求解这个回归问题,最后其实转化为一个最小二乘问题。不过现在我们用贝叶斯的方法,通过最大后验概率来解这个问题。
后验概率 = 释然概率 x 先验概率,也就是p(w|t) = p(t|w) p(w) 这是基本的贝叶斯思想。很多随机变量的概率分布都可以近似地用高斯分布来描述,这里w和t的概率分布都可以用多维高斯分布来模拟。首先确定先验概率p(w),先验概率是均值为0的高斯概率: p(w|a) = N(w|0, a-1I),其中a是一个参数,它控制了高斯分布的精度,需要我们确定。不使用一般性的高斯分布,是为了简化问题,否则要求的未知数太多。通常对于一个假设测试集中的目标值{tn}是通过判别函数y(x, w)的值加上高斯噪声得到的,那么对于一个目标值,它服从一个均值为y(x, w)的高斯分布:p(t|x, w, B) = N(t|y(x, w), B-1)。对于整个目标值集合{tn},假设每个目标值都是独立同分布的,那么由乘法定则得到:
B也是要求的参数。这样实验概率分布p(t|w)也得到了。后验概率是释然概率和先验概率的乘积,因此后验概率的分布也满足高斯分布。参数w为使后验概率最大时的值,一般的做法是对后验概率取对数,然后转为释然概率和先验概率的对数和。最后我们会发现,还是要求解一个线性最小二乘问题,和最大释然概率得到的结果一样,只不过在系数上有些差别。求解最小二乘问题,已有很多种方法,比如比较常用的LM算法(http://www.ics.forth.gr/~lourakis/levmar/),LM算法可以解决更一般性的非线性最小二乘问题。
- 贝叶斯线性回归(一)
- 线性回归(一)
- ML—线性回归系列(一)—线性回归
- 机器学习基础(一)线性回归
- (一)Linear Regression[线性回归]
- 机器学习(一)线性回归
- 机器学习(一):线性回归
- 机器学习(一)线性回归
- 机器学习(一):线性回归_python
- 机器学习算法(一)线性回归
- 机器学习(一) 线性回归
- 机器学习(一)线性回归
- 单变量线性回归(一)
- 多变量线性回归(一)
- 实验一 线性回归
- Spark Mllib 回归学习笔记一(java):线性回归(线性,lasso,岭),广义回归
- SPSS--回归-多元线性回归模型案例解析!(一)
- 机器学习(一)线性回归、逻辑回归
- SIM卡实用知识
- 松下P42U20C的工程模式进入方法
- stagefright + omx小结
- struts2 去除 标签样式
- android 多点触摸 放大 缩小 图片
- 贝叶斯线性回归(一)
- BCB6.0下安装Indy9
- 物流管理與ERP
- MTK平台用Socket实现
- 敏捷的定义
- MTK 网络通信详解
- 关于visual studio 2008试用版评估期已结束解决
- To Symantec
- MTK总结(一)