具有多次重复的 scikit-learn GridSearchCV

我正在尝试为 SVR 模型获取最佳参数集。 我想使用GridSearchCV超过不同的值C。 然而，从之前的测试中，我注意到训练/测试集的划分极大地影响了整体性能（在本例中为 r2）。 为了解决这个问题，我想实现重复的 5 倍交叉验证 (10 x 5CV)。是否有一种内置的方法来执行它GridSearchCV?

快速解决方案，遵循 sci-kit 中提出的想法官方文档:

NUM_TRIALS = 10
scores = []
for i in range(NUM_TRIALS):
     cv = KFold(n_splits=5, shuffle=True, random_state=i)
     clf = GridSearchCV(estimator=svr, param_grid=p_grid, cv=cv)
     scores.append(clf.best_score_)
print "Average Score: {0} STD: {1}".format(numpy.mean(scores), numpy.std(scores))

这称为嵌套交叉验证。你可以看看官方文档示例引导您走向正确的方向，也可以看看我的其他答案在这里对于类似的方法。

您可以调整这些步骤以满足您的需要：

svr = SVC(kernel="rbf")
c_grid = {"C": [1, 10, 100, ...  ]}

# CV Technique "LabelKFold", "LeaveOneOut", "LeaveOneLabelOut", etc.

# To be used within GridSearch (5 in your case)
inner_cv = KFold(n_splits=5, shuffle=True, random_state=i)

# To be used in outer CV (you asked for 10)
outer_cv = KFold(n_splits=10, shuffle=True, random_state=i)

# Non_nested parameter search and scoring
clf = GridSearchCV(estimator=svr, param_grid=c_grid, cv=inner_cv)
clf.fit(X_iris, y_iris)
non_nested_score = clf.best_score_

# Pass the gridSearch estimator to cross_val_score
# This will be your required 10 x 5 cvs
# 10 for outer cv and 5 for gridSearch's internal CV
clf = GridSearchCV(estimator=svr, param_grid=c_grid, cv=inner_cv)
nested_score = cross_val_score(clf, X=X_iris, y=y_iris, cv=outer_cv).mean()

编辑 - 嵌套交叉验证的描述cross_val_score() and GridSearchCV()

1. clf = GridSearchCV（估计器，param_grid，cv=inner_cv）。
2. Pass clf, X, y, outer_cv to cross_val_score
3. 正如所见cross_val_score的源代码, this X将分为X_outer_train, X_outer_test using outer_cv。 y 也一样。
4. X_outer_test将被阻止并且X_outer_train将被传递给 clf 进行 fit() （在我们的例子中是 GridSearchCV）。Assume X_outer_train叫做X_inner从这里开始，因为它被传递给内部估计器， 认为y_outer_train is y_inner.
5. X_inner现在将被分为X_inner_train and X_inner_test using inner_cv在 GridSearchCV 中。 y 也一样
6. 现在将使用 gridSearch 估计器进行训练X_inner_train and y_train_inner并使用评分X_inner_test and y_inner_test.
7. The 将重复步骤 5 和 6对于inner_cv_iters（本例中为5）。
8. 所有内部迭代的平均得分的超参数(X_inner_train, X_inner_test)是最好的，被传递给clf.best_estimator_并适合所有数据，即X_outer_train.
9. This clf (gridsearch.best_estimator_）然后将使用X_outer_test and y_outer_test.
10. The 将重复步骤 3 至 9对于outer_cv_iters（此处为10），分数数组将从cross_val_score
11. 然后我们使用mean()返回nested_score.