李宏毅深度学习之集成学习

1.bagging

没有顺序的。
bagging是将单个函数的结果进行average（回归）或voting（分类），当在model很复杂的情况下，担心过拟合问题，可以做bagging。

1.1容易过拟合的模型

1.1.1decision tree(决策树)

1.1.2随机森林（Random Forest）

随机森林是决策树在bagging方法下的应用。

2.Boosting

是有顺序的。
Boosting是算法准确性在测试集低于50%的多种算法进行Boosting。
需要找到Fun1至FunN两两最互补的函数，然后进行Boosting。

2.1 Adaboost

2.1.1 Adaboost的思想

Re-weighting Train Data

2.1.2 Adaboost算法

例子：decision stump(决策树桩)
先一刀切，后对判断对其权重减少（除以d1），判断错的权重增大（乘以d1）。



最后将三个分类结果组合起来，分别乘以相对应的weight值（a1、a2、a3），后相加取sign函数。

2.1.3 Gradient Boosting

2.Stacking