【Machine Learning】回归学习与示例
来源:互联网 发布:电脑文件备份软件 编辑:程序博客网 时间:2024/06/06 14:06
回归学习(Regression Learning),又称为回归分析(Regression Analysis),是一种近似方法,从未知概率分布的随机样本中获得目标函数。
一、基本原理
变量之间的相互关系可以分为确定性和非确定性两大类,前者存在明显的函数关系,如线性函数。后者的变量之间存在关系但不完全确定,在某种随机干扰下产生统计关系们无法获得精确的数学函数关系。对于存在统计关系的变量,通过大量试验获取相关统计数据,并构造目标函数并逼近该关系,即回归学习。
令为s(s是正整数)维欧氏空间,对于随机变量,回归学习研究的是x的函数值对y的依赖性,即寻找一个函数,使得f(x)在极小化预测平方的期望或L2风险的前提下,能够较好的逼近y,函数f(x)称为回归函数。
由于,
令为上的任意一个可测函数,用v表示x的方向分布可知:
根据L2风险极小化可知,回归函数是最好的预测函数,即
当且仅当
极小化时,函数f为回归函数较好的预测函数。
在实际的应用中,样本分布往往未知,回归函数通常也未知。但是,样本可以根据同一分布采样,此时回归学习转化为所谓的回归统计问题。
令
为XxY上独立分布的样本点集合,回归估计的目标是构造回归函数的一个估计子,使得L2误差最小,即
最小化。
二、回归类型
2.1 参数回归
如果随机变量间的相关函数类型已知,但是相关参数未知,根据样本值估计这些参数的过程称之为参数回归。线性和非线性回归都是典型的参数回归。如:
2.2 非参数回归
在实际应用中,很多随机变量之间的关系难以用确定的相关函数类型进行描述,在引入大量参数的情况下仍然不能减少估计误差,这时可以采用非参数回归模型。非参数回归模型对回归函数的形式没有特别的要求。对(x,y)的分布没有严格的规定,而是根据数据本身确定模型结构。
2.3 半参数回归
在有些情况下,使用使用线性回归模型拟合数据的效果较差,如果用非参数回归模型又会失去太多信息,于是就出现了参数部分和非参数部分相结合的半参数回归模型:
式中,x为自变量,β为待估计参数,g(x,β)为表达式已知的函数,u(t)为未知函数, ε 为随机误差。
三、算法优化
3.1 线性回归模型
3.2 多项式回归模型
3.3 主成分回归模型
3.4 自回归模型
3.5 核回归模型
四、求解回归模型的方法
4.1 最小二乘法
4.2 修正的Gauss-Newton法
4.3 有理插值法
未完待续。。。
- 【Machine Learning】回归学习与示例
- Machine Learning学习之岭回归
- machine learning(线性回归)
- Machine Learning---Logistic回归
- Machine Learning线性回归
- 单维与多维线性回归代码( machine-learning-ex1 ) Stanford machine learning
- 机器学习(Machine Learning)心得体会(1)线性回归
- Machine Learning in Action 学习笔记-(5)Logistic回归
- [笔记]机器学习(Machine Learning) - 01.线性回归(Linear Regression)
- [笔记]机器学习(Machine Learning) - 02.逻辑回归(Logistic Regression)
- 机器学习Machine learning(一)线性回归
- 《Machine Learning》第二讲 线性回归与梯度下降
- Machine Learning---4---Logistic回归
- Machine Learning 机器学习
- machine learning 学习网站
- 机器学习(Machine Learning)
- Machine learning学习(1)
- Machine Learning 学习笔记
- MongoDB部分使用教程
- 浏览器中播放rtsp(不依赖vlc插件)
- 关于部分国产手机的相机录音等权限判断
- 面试总结
- spring整合redis单机版
- 【Machine Learning】回归学习与示例
- C++函数原型
- stm32之按键实验
- 百度大脑人脸识别深度验证与思考(一)之环境搭建
- Sublime Text 3 增加 Open Recent 个数
- Crypto++应用:非对称加密RSA
- dSYM介绍
- MTK codegen.dws文件---GPIO口的定制
- JS去除字符串中空格的方法