概念
C4.5算法继承了ID3算法的优点,并在以下几方面对ID3算法进行了改进:
-
用信息增益率来选择属性,克服了用信息增益选择属性时偏向选择取值多的属性的不足;(针对ID3的缺点1)
-
在树构造过程中进行剪枝; (针对ID3的缺点2,k阶交叉验证)
-
能够完成对连续属性的离散化处理;(针对ID3的缺点3,引入阈值)
-
能够对不完整数据进行处理。(针对ID3的缺点4,平均值代替,概率法代替)
缺点:在构造树的过程中,需要对数据集进行多次的顺序扫描和排序,因而导致算法的低效。此外,C4.5只适合于能够驻留于内存的数据集,当训练集大得无法在内存容纳时程序无法运行。
另外,无论是ID3还是C4.5最好在小数据集上使用,决策树分类一般只适用于小数据。当属性取值很多时最好选择C4.5算法,ID3得出的效果会非常差。
