LightGBM原理简介

来源:互联网 发布:国家承认网络教育 编辑:程序博客网 时间:2024/05/22 13:05

提升方法

这里写图片描述
这里写图片描述

树的生长策略

这里写图片描述
这里写图片描述

LightGBM的改进

这里写图片描述
这里写图片描述

直方图优化

这里写图片描述
这里写图片描述
通过直方图算法对内存的使用进行优化。
这里写图片描述
这里写图片描述

直方图作差加速

这里写图片描述
选取样本量少的叶子结点进行统计,就可以通过作差得到另一个叶子结点直方图。

带深度限制的叶子生长策略

这里写图片描述

提升缓存命中率

这里写图片描述
这里写图片描述

类别特征支持

这里写图片描述

并行学习支持

这里写图片描述

特征并行

这里写图片描述
这里写图片描述

数据并行

这里写图片描述
这里写图片描述

投票并行

投票并行,合并部分特征的直方图,降低通信量。
这里写图片描述

Voting parallel,参考论文“A Communication-Efficient Parallel Algorithm for Decision Tree”

其他特性

这里写图片描述
这里写图片描述
https://www.zhihu.com/question/64943934

参考资料

如何玩转LightGBM Taifeng Wang
GBDT算法原理与系统设计简介 weapon

原创粉丝点击