论文笔记2《决策树分类优化算法的研究----(上)》
来源:互联网 发布:流量挂机赚钱软件 编辑:程序博客网 时间:2024/06/17 00:49
《硕士论文》 2010年
部分摘要:ID3算法虽然很经典,但也有美中不足之处:第一,算法中使用了对数计算,而且计算过程复杂;第二,取值较多的属性被选择的机率比较大,即多值偏向问题。为了解决的这些问题,本文引入了泰勒公式和麦克劳林公式,对原算法进行化简,对于算法偏向于选取有较多取值的属性的缺点,用一个与属性取值个数相关的函数对简化后的属性信息增益进行修正。最后,用JAVA语言实现了改进前后的算法,并且在不同规模的数据集上进行仿真实验,把改进后算法分别与算法、算法进行比较分析,验证了改进后算法在构建决策树时所需的时间及分类准确率两个方面都优于其他两个算法。
算法改进:
(1)对于计算复杂度的改进对于算法的运算中多次要用到对数,通过引入泰勒公式和麦克劳林公式对算法中的熵、信息增益的计算进行化简,去除了对数运算,从而提高了算法的建树速度。
(2)多值偏向问题:在公式Gain(S,A)=E(S)-E(S,A)中,对于每一个节点来说E(S)都是一个定值,故可以选取属性的信息熵E(S,A)作为测试属性的比较标准。这样,在计算属性的信息熵时使用一个与属性取值个数相关的函数来调整属性的信息熵,以调整后新的信息熵作为标准来选取分裂属性。
具体展开:
0 0
- 论文笔记2《决策树分类优化算法的研究----(上)》
- 论文笔记2《决策树分类优化算法的研究---(下)》
- 论文笔记3《基于信息增益和最小距离分类的决策树改进算法》
- 经典分类算法--决策树笔记
- 机器学习实战笔记(2) 决策树(分类的方法)
- 机器学习:决策树cart算法在分类与回归的应用(上)
- R语言与机器学习学习笔记(分类算法)(2)决策树算法
- R语言与机器学习学习笔记(分类算法)(2)决策树算法
- 【转】R语言与机器学习学习笔记(分类算法)(2)决策树算法
- R语言与机器学习学习笔记(分类算法)(2)决策树算法
- 关于贪心算法的研究(论文)
- 分类算法:决策树算法
- 论文笔记1《基于ID3决策树改进算法的客户流失预测分析》
- 用Python开始机器学习(2:决策树分类算法)
- 用Python开始机器学习(2:决策树分类算法)
- 用Python开始机器学习(2:决策树分类算法)
- 2python机器学习--SVM(决策树分类算法)
- 用Python开始机器学习(2:决策树分类算法)
- UCI数据集与相关论文和源代码
- win7下使用python的几种方式
- Linux下C程序的反汇编
- ShiroDbRealm 导致spring 事务配置无效原因分析
- 黑马程序员——static关键字
- 论文笔记2《决策树分类优化算法的研究----(上)》
- 开启hadoop2.7.1的时候,发现ssh无法识别主机名(报错例如:HotSpot(TM): ssh: Could not resolve hostname HotSpot(TM)........)
- ISBN号码
- 【Android游戏开发之七】(游戏开发中需要的样式)再次剖析游戏开发中对SurfaceView中添加组件方案!
- 在学Go语言
- null和undefined
- 小明的存钱计划
- MongoDB使用小结:一些常用操作分享
- Day16,33天的一半。