机器学习:贝叶斯总结_3:线性回归和贝叶斯回归
来源:互联网 发布:php自助建站系统源码 编辑:程序博客网 时间:2024/06/05 15:23
线性回归的基函数模型
y(x,w)=w0+w1x1+......+wDxD y(x,w)=w0+∑M−1j=1wjϕj(x) ϕj(x):是基函数 基函数:多项式;高斯;sigmoid函数
- 基函数还可以是傅里叶基函数
最大似然与最小平方
- 误差函数=高斯噪声下的最大似然解
- 正则项是保证矩阵非奇异
顺序学习(随机梯度下降)
正则化最小平方
ED(w)+λEW(w) ;λ是正则化的系数
- q=1 (lasso):套索,
λ足够大则系数为零,生成系数模型
多变量的输出
偏置-方程折中
- 最大似然估计容易导致过拟合
贝叶斯线性回归
- 贝叶斯线性回归可以预防过拟合
贝叶斯模型的比较
- 假设多项式曲线的拟合问题,概率分布由模型中的一个产生,但不知道是哪个,不确定性通过先验概率表达
p(Mi) .给定训练集D,
- 先验概率表示不同模型的优先级
p(D|Mi)是不同模型的优先级 - 贝叶斯因子=
p(D|Mi)p(D|Mj)
预测分布:
1. 混合分布
2. 各个模型的预测加权
模型近似
待续
0 0
- 机器学习:贝叶斯总结_3:线性回归和贝叶斯回归
- 机器学习算法总结--线性回归和逻辑回归
- 机器学习算法总结--线性回归和逻辑回归
- 机器学习总结(一):线性回归、岭回归、Lasso回归
- 机器学习笔记_回归_3: 广义线性模型
- 【机器学习1】线性回归,贝叶斯
- 【机器学习】贝叶斯线性回归模型
- [机器学习]线性回归和局部加权线性回归
- 机器学习-线性回归
- 【机器学习】线性回归
- 机器学习-线性回归
- 机器学习 线性回归
- 机器学习-线性回归
- 机器学习--线性回归
- 机器学习---线性回归
- 机器学习----线性回归
- 机器学习--线性回归
- 机器学习--线性回归
- POJ2377 Bad Cowtractors(最大生成树)
- php mysql 一个查询优化的简单例子
- APIC Timer
- Leetcode 第 1 题(Two Sum)
- Objective-C之初始化
- 机器学习:贝叶斯总结_3:线性回归和贝叶斯回归
- spring bean
- linux下信号
- LeetCode #1 Two Sum C# Solution
- libiconv编译出错解决
- font-face 自定义字体,让页面文艺起来~~~
- 例程8. PCA_PWM -- 慕司板IAP15
- 第六周项目一-分数类的雏形(2)
- eclipse中批量修改Java类文件中引入的package包路径 - [工具使用]