剪枝处理:处理过拟合
预剪枝 方式:使用训练集根据信息增益准则生成一棵完整树,自上而下,通过上级节点验证集的正确率与所有子节点的正确率比较,判断准确率是否上升,决定是否保留本次的分支
后剪枝 方式:使用训练集根据信息增益准则生成一棵完整树,自下而上,尝试剪掉叶子节点的分类属性,如果验证集正确率上升,则剪掉该枝
多变量决策树: 区别在于针对属性的线性组合进行分类,例如对是否是美女进行预测,正常的分类属性包括大眼,高挑,长腿,肤白,有胡子。而多变量决策树的分类依据可以是: 0.7大眼+0.6高挑+0.7长腿+0.9肤白-2有胡子