【机器学习】lightGBM是什么？

梯度提升法(Gradient Boosting Machine，简记 GBM)以非参数方法（不假设函数形式）估计基函数，并在“函数空间”使用“梯度下降”进行近似求解。非参数方法包括K近邻法、决策树、以及基于决策树的装袋法、随机森林与提升法等。

01  梯度提升决策树（GBDT）不足

梯度提升决策树（GBDT） 的常规实现需要针对每个功能扫描所有数据实例，以估计所有可能的分割点的信息增益（对于 GBDT，通常通过分割后的方差来衡量信息增益），因此计算复杂度与特征数量和实例数量成正比，这使得在处理大数据时非常耗时。为解决GBDT在处理大数据耗时较长的问题，最直接的想法就是减少数据实例的数量和特征的数量。

02  GOSS: 减少数据实例

基于梯度的单边采样（Gradient-based One-Side Sampling ，简称GOSS），GOSS 会保留所有具有大梯度的实例（具有较大梯度1的实例ÿ