决策树模型浅尝辄止
如今神经网络大行其道,大家都对神经网络过分热心,反而冷落了决策树模型的研究,但熟悉建模的朋友可能都了解,实际上决策树模型在工业界承担着中流砥柱的作用。很多棘手的问题,往往使用决策树模型能够达到很好的效果 笔者最近一段时间,对决策树模型的使用有了一些体会,遂记录下来和大家分享 但相信决策树这个话题是老生常谈了,所以下面就说说一些新鲜的玩意 1.决策树模型的现状 目前决策树领域,已由原本单一的决策树模型演变成了级联学习树、随机森林模型的天下 主要使用的就是Boosting和Bagging的思想 Boosting和Bagging方法本质上都是组合学习,增强了树模型的准确率和鲁棒性 如上图所示: Boosting侧重于纵向组合,代表模型为Xgboost Bagging侧重于横向组合,代表模型为Random Forest 姑且我们就叫这些树模型统一为集成决策树模型吧 但是不管树模型如何组合,它的本质没有变,最基础的单元还是cart决策树 (你也可以说还有C4.5等,不过我觉得这不是重点,它们已经不是最优的基础单元,该退出历史舞台了) 2.决策树模型的优势 1.相比深度学习算法 实现相对简单,效...