看起来GridSearchCVscikit-learn 收集其（内部）交叉验证折叠的分数，然后对所有折叠的分数进行平均。我想知道这背后的理由。乍一看，收集其交叉验证折叠的预测，然后将所选的评分指标应用于所有折叠的预测似乎更灵活。
我偶然发现这个的原因是我使用GridSearchCV在不平衡的数据集上cv=LeaveOneOut() and scoring='balanced_accuracy'（scikit-learn v0.20.dev0）。对每个遗漏的样本应用平衡准确性（或召回率）等评分指标是没有意义的。相反，我想首先收集所有预测，然后将我的评分指标应用于所有预测。或者这是否涉及推理错误？
Update:我通过创建一个基于的自定义网格搜索类解决了这个问题GridSearchCV不同之处在于，首先从所有内部折叠收集预测，然后应用一次评分指标。
GridSearchCV使用评分来决定在模型中设置哪些内部超参数。
如果您想估计“最佳”超参数的性能，则需要执行额外的交叉验证步骤。
See http://scikit-learn.org/stable/auto_examples/model_selection/plot_nested_cross_validation_iris.html
编辑以更接近回答实际问题：
对我来说，如果你想使用，收集每次折叠的预测然后对它们进行评分似乎是合理的LeaveOneOut and balanced_accuracy。我想你需要制作自己的网格搜索器才能做到这一点。你可以使用model_selection.ParameterGrid and model_selection.KFold为了那个原因。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
