GBDT作为近年很热门的模型，其性能非常突出，用途也是涵盖了从特征选择到分类、回归，被广大从业者和爱好者所使用。
网上关于gbdt的原理和数学推导已经有很多，我就谈谈我个人的浅见，如有错误还望指正。同时还附上我自己实现的简单的python代码，功能比较简单，并且性能也不高，只作为自己对模型的理解，欢迎拍砖。
从大的框架来说，主要可以分解成两个部分：构建树和梯度提升。GBDT中的树一般都是CART，即分类回归树，这是GBDT强大的第一个原因。分类回归树能同时处理分类和回归问题，根据不同的问题类型，采用不同的属性分裂准则。在实现的时候，个人觉得，如何高效地分裂属性是需要好好考虑的。参考xgboost的实现方式，其对列进行了采样，不仅提升了性能，也防止了过拟合。第二个强大的原因就是梯度提升，在前一颗树的残差基础上进行拟合，不得不感叹是一个非常好的思路。让我想到了孔子的“吾日三省吾身”，也就是每次训练完之后，就看看自己和圣人的差距有多少，然后在下一次训练的时候尽量去弥补这个差距。当然了，前提是圣人不会再提升了，否则自己永远也赶不上了。在具体实现的时候，如何体现“梯度提升”，如何对函数求导也是一个难点。好在在friedman的论文中，已经提供了一个比较简便的方法，推导也在论文中给出，因此我的代码就参考了论文中算法6的步骤，即对类似softmax的输出求残差，实现起来比较容易。
我实现的GBDT模型很简单，都没有加入正则化，而且分类的性能好像也不高，跑起来又费时费力，所以欢迎提出改进建议和意见。
https://github.com/bound2020/simple_gbdt
后期有时间的话，比较想做的事是阅读xgboost的源代码，希望有志的人可以一起加入。
2014年kaggle的criteiro比赛第一名是几个台湾牛人，他们自己撸了一个gbdt，效果不错。我们如果写不出那么牛逼的代码，那看看总行吧？把代码读懂，理解了总行吧？这里是我对他们造的gbdt代码解读，写的略微简单了点，有些细节也没搞的很明白，仅供参考。
https://github.com/bound2020/Code-Destructor/tree/master/kaggle-2014-criteo/gbdt
对于xgboost的源码，网上早已有大牛解读了，同样也一起看下，以加深理解。
http://mlnote.com/2016/10/29/xgboost-code-review-with-paper/
