如何实施xgboost增量训练？

问题是由于列车数据大小，我的列车数据无法放入 RAM 中。所以我需要一种方法，首先在整个训练数据集上构建一棵树，计算残差构建另一棵树等等（就像梯度提升树一样）。显然如果我打电话model = xgb.train(param, batch_dtrain, 2)在某些循环中 - 它不会有帮助，因为在这种情况下它只是为每个批次重建整个模型。

尝试在第一批训练后保存模型。然后，在连续运行时，为 xgb.train 方法提供已保存模型的文件路径。

这是我为了说服自己它有效而进行的一个小实验：

首先，将波士顿数据集分为训练集和测试集。 然后将训练集分成两半。 将模型与上半部分进行拟合，得到一个分数作为基准。 然后用后半部分拟合两个模型；一种模型将具有附加参数xgb_模型。如果传递额外的参数没有影响，那么我们期望它们的分数相似。 但幸运的是，新模型的性能似乎比第一个模型好得多。

import xgboost as xgb
from sklearn.cross_validation import train_test_split as ttsplit
from sklearn.datasets import load_boston
from sklearn.metrics import mean_squared_error as mse

X = load_boston()['data']
y = load_boston()['target']

# split data into training and testing sets
# then split training set in half
X_train, X_test, y_train, y_test = ttsplit(X, y, test_size=0.1, random_state=0)
X_train_1, X_train_2, y_train_1, y_train_2 = ttsplit(X_train, 
                                                     y_train, 
                                                     test_size=0.5,
                                                     random_state=0)

xg_train_1 = xgb.DMatrix(X_train_1, label=y_train_1)
xg_train_2 = xgb.DMatrix(X_train_2, label=y_train_2)
xg_test = xgb.DMatrix(X_test, label=y_test)

params = {'objective': 'reg:linear', 'verbose': False}
model_1 = xgb.train(params, xg_train_1, 30)
model_1.save_model('model_1.model')

# ================= train two versions of the model =====================#
model_2_v1 = xgb.train(params, xg_train_2, 30)
model_2_v2 = xgb.train(params, xg_train_2, 30, xgb_model='model_1.model')

print(mse(model_1.predict(xg_test), y_test))     # benchmark
print(mse(model_2_v1.predict(xg_test), y_test))  # "before"
print(mse(model_2_v2.predict(xg_test), y_test))  # "after"

# 23.0475232194
# 39.6776876084
# 27.2053239482

参考：https://github.com/dmlc/xgboost/blob/master/python-package/xgboost/training.py https://github.com/dmlc/xgboost/blob/master/python-package/xgboost/training.py