基于C4.5神经网络集成
来源:互联网 发布:unity3d 粒子性能优化 编辑:程序博客网 时间:2024/06/10 01:48
最近Hinton提出使用决策树来解释神经网络。看到周志华老师04年论文,遂做点笔记
原文:NeC4.5: Neural Ensemble Based C4.5
决策树具有很好的理解能力,神经网络集成具有很好的泛化能力。本文将两者融合到一个新的决策树算法Nec4.5。该算法首先训练一个神经网络集成。然后训练的集成被用来生成新的训练集,通过用由训练的集成的输出替代原始训练样本的期望标签,一些额外训练样本也从训练集成中生成并被加入到新的训练集中。最后一个C4.5算法从新的数据集中训练得到。
一般而言,决策树具有很好的理解能力因为学到的知识能在书中精确表达出来,然而神经网络因为学到的知识被隐藏地编码在一系列连接中所以很难理解。
所以网络集成组合了许多神经网络,它的行为就更难理解。本文提出基于C4.5的神经网络集成,可被视为C4.5算法的变形,其中一个神经网络集成被用来预处理训练数据。
2 NeC4.5
假设训练集
对于每个特征向量
S’可以通过包含额外训练数据(其由神经网络集成生成)来扩大。通过随机生成一些特征向量然后将其输入到训练的集成中。对于每个随机生成的特征向量
为了探索NeC4.5工作的原因,假设目标去学习一个函数
Ft 表示在给定训练集中训练的决策树函数。那么Ft等于F的概率为:
第二部分由包含噪声的训练集产生的误差,表示为
最后一部分来自受限样本集产生的误差, 表示为
现在假设给定训练集包含完整目标分布,也就是所有可能的特征向量都在训练集中出现。
等同于
当
这暗示着使用神经网络集成来处理原始训练集那么NeC4.5可以得益于决策树的构造,即使没有额外训练数据生成,基于集成明显高精度于直接从原始数据建立的决策树,并且原始数据包含太多噪声。
- 基于C4.5神经网络集成
- C4.5
- C4.5
- C4.5
- 基于R的C4.5决策树的建立
- Using c4.5
- C4.5主要改进
- 决策树c4.5编译,
- 分类:ID3,C4.5
- C4.5算法
- C4.5决策树算法
- C4.5 决策树
- C4.5决策树
- c4.5代码分析
- 决策树C4.5
- C4.5决策树
- C4.5算法
- c4.5算法
- Microsoft Office 2016产品密钥生成器
- 网络请求的图片,在Adapter(适配器)中异步的处理
- shell 脚本支持从管道读取
- 自定义view圆弧家百分比
- hdu 2084 数塔
- 基于C4.5神经网络集成
- Android 项目上传Jcenter方法参考(内含两种方法)
- 多线程编程
- 使用spring配置dbcp2和pool2
- Anaconda无法用PIL,我用Pillow替代
- 单向链表的一些操作实现-Java实现
- ics实验报告
- Simpy笔记
- 0基础新手入门linux系统的四个建议