分类算法 决策树

相比贝叶斯算法，决策树的优势在于构造过程不需要任何领域知识或参数设置，因此在实际应用中，对于探测式的知识发现，决策树更加适用。

构造决策树的关键步骤是分裂属性。属性选择度量算法有很多，一般使用自顶向下递归分治法，并采用不回溯的贪心策略。这里介绍ID3和C4.5两种常用算法。

ID3算法的核心思想就是以信息增益度量属性选择，选择分裂后信息增益最大的属性进行分裂。

ID3算法存在一个问题，就是偏向于多值属性（划分充分纯净，但这种划分对分类几乎毫无用处）。

ID3的后继算法C4.5使用增益率（gain ratio）的信息增益扩充，试图克服这个偏倚。

C4.5选择具有最大增益率的属性作为分裂属性