简单介绍树回归的算法原理
来源:互联网 发布:快速排序算法的例子 编辑:程序博客网 时间:2024/05/22 06:16
线性回归方法可以有效的拟合所有样本点(局部加权线性回归除外)。当数据拥有众多特征并且特征之间关系十分复杂时,构建全局模型的想法一个是困难一个是笨拙。此外,实际中很多问题为非线性的,例如常见到的分段函数,不可能用全局线性模型来进行拟合。
树回归将数据集切分成多份易建模的数据,然后利用线性回归进行建模和拟合。
构建回归树算法伪代码:
寻找当前最佳待切特征和特征值并返回
如果当前最佳特征没有找到,不可切分,则把当前结点的数据均值作为叶节点
否则用最佳特征和特征值构建当前结点
切分后的左右节点分别递归以上算法
寻找最佳特征算法伪代码:
如果该数据集的特征值只有一种,不可切分,返回当前结点的数据均值作为特征值
否则重复一下步骤直到找到最小总方差
遍历每一列
遍历每列的值
用该值切分数据
计算总方差
如果总方差差值小于最初设定的阈值,不可切分
如果左右样本数小于最初设定的阈值,不可切分
否则返回最佳特征和最佳特征值。
需要输入的参数有:数据集,叶节点模型函数(均值),误差估计函数(总方差),允许的总方差最小下降值,节点最小样本数。
具体代码见我github链接:https://github.com/AlanLin2015/Machine-Learning/tree/master/regtree
0 0
- 简单介绍树回归的算法原理
- 机器学习算法--逻辑回归原理介绍
- Hash 算法原理简单介绍
- Logistic回归原理介绍
- 逻辑回归算法原理
- 算法的简单介绍
- Cordic 算法的原理介绍
- Cordic 算法的原理介绍
- 【机器学习实战 第九章】树回归 CART算法的原理与实现
- 【机器学习实战 第九章】树回归 CART算法的原理与实现
- Logistic回归中梯度上升算法的数学原理
- 逻辑回归算法的原理及实现(LR)
- Kruscal算法的简单介绍
- 7.1 简单线性回归算法
- 简单易学的机器学习算法——分类回归树CART
- 简单易学的机器学习算法——Logistic回归
- 逻辑回归原理介绍及Matlab实现
- 回归简单的ListView
- Docker与容器安全
- awk & sed之奇数行与偶数行的打印
- 自定义viewpager的切换速度
- C# XDocument的使用
- (11)HTML5-鼠标单击事件监听
- 简单介绍树回归的算法原理
- 函数式编程
- 记录
- 快速排序C++实现(递归,非递归)
- React Native环境搭建
- Spring中定时任务Quartz集群配置学习
- mongodb 增删改查简单封装
- Linux团队开发权限管理纪实
- gradle使用mybatis时报Invalid bound statement (not found)