机器学习(五):回归方法——预测数值型数据
来源:互联网 发布:人造奶油危害 知乎 编辑:程序博客网 时间:2024/06/05 00:58
理解
回归关注的是一个唯一的因变量(预测变量)和一个或多个数值型自变量之间的关系。首先假设因变量和自变量之间遵循线性关系。
单一线性回归:只有一个单一的自变量
多元回归:多个自变量
概念
普通最小二乘估计:(最小二乘法)不多叙述
相关系数:范围在-1到1之间,越靠两端证明越相关,接近0表示不存在线性关系。一般0.1-0.3为弱相关,0.3-0.5中相关,大于0.5为强相关。
多元回归
第二个公式里面的自变量和因变量均为向量
我们要求出使得y的预测值与真实值之间的误差平方和最小的贝塔。
R语言代码:
> reg<-function(y,x){x<-as.matrix(x) + x<-cbind(Intercept=1,x) #将额外的一列加入矩阵x并将该列赋值为1 + slove(t(x) %*% x) %*% t(x) %*% y} #slove求逆矩阵 %*%代表矩阵相乘
提高模型性能
添加非线性关系(比如加入一列age2,将age平方后赋值,增大年龄的影响)转换
将一个数值型变量转换为一个二进制指标
我们可以假设,一个特征的影响不是积累的,而是当特征的取值达到一个给定的阈值才产生影响。例如,我们可以添加一个特征,当年龄达到18的时候赋值为1,否则赋值为0.- 模型的设定——加入相互作用的影响
当两个特征存在共同的影响时,比如吸烟和肥胖同时影响健康,称为相互作用。可以在建模过程加入这一条件。
回归树和模型树
回归树: 没有用到回归方法,而是基于到达节点的案例的平均值做成预测
模型树:和回归树以大致相同的方式生长,但是每个叶子节点,根据到达该节点的案例建立多元线性回归模型。
两者的差别:节点不是以一个数值预测终止,而是以一个线性模型终止。
例子:在葡萄酒质量评估当中,根据葡萄酒的一系列指标来给葡萄酒打分0-10,如果使用回归树,那么最终我们得到的树的叶子节点能够直接预测出某条件下葡萄酒的得分。而如果使用回归树,在这个树的每一个节点,都会产生一个对应该节点的线性模型,每一个模型对于每个特征在最后的贡献都不同。
0 0
- 机器学习(五):回归方法——预测数值型数据
- 机器学习实战——预测数值型数据:回归
- 《机器学习实战》预测数值型数据-回归(Regression)
- 《机器学习实战》预测数值型数据-回归(Regression)
- 机器学习实战学习笔记(七)预测数值型数据—回归(python3实现)
- 机器学习实战——第八章:用回归预测数值型数据
- 《机器学习实战》笔记之八——预测数值型数据:回归
- 机器学习之预测数值型数据: 回归
- 机器学习实战-预测数值型数据:回归
- 机器学习实战_08预测数值型数据-回归
- 机器学习实战笔记-预测数值型数据:回归
- 机器学习实战-8预测数值型数据-回归
- 机器学习实战 第八章 预测数值型数据:回归(Regression)
- 【机器学习实战】第8章 预测数值型数据:回归(Regression)
- 机器学习实战代码详解(八)预测数值型数据:回归
- 预测数值型数据:回归(一)
- 预测数值型数据:回归(二)
- 代码注释:机器学习实战第8章 预测数值型数据:回归
- github使用——1
- Spring事务管理、Aop
- AndroidStudio制作简易拨号器
- QT写一个记事本⑧
- pycharm 2016.2或者2016.3激活方式
- 机器学习(五):回归方法——预测数值型数据
- git 初学者使用指南
- Matlab图像处理(03)-基本概念
- poj 2632
- 使用 /sys 文件系统访问 Linux 内核
- IntelliJ IDEA导入Maven项目
- shell笔记(C语言中文网)
- 逻辑卷中磁盘预警后的处理
- 7、关于requests项目