将 GridSearchCV 与 AdaBoost 和 DecisionTreeClassifier 结合使用

我正在尝试使用 DecisionTreeClassifier（“DTC”）作为 base_estimator 来调整 AdaBoost 分类器（“ABT”）。我想调bothABT 和 DTC 参数同时存在，但我不确定如何实现这一点 - 管道不应该工作，因为我没有将 DTC 的输出“管道”到 ABT。这个想法是在 GridSearchCV 估计器中迭代 ABT 和 DTC 的超参数。

如何正确指定调整参数？

我尝试了以下操作，产生了以下错误。

[IN]
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import AdaBoostClassifier
from sklearn.grid_search import GridSearchCV

param_grid = {dtc__criterion : ["gini", "entropy"],
              dtc__splitter :   ["best", "random"],
              abc__n_estimators: [none, 1, 2]
             }


DTC = DecisionTreeClassifier(random_state = 11, max_features = "auto", class_weight = "auto",max_depth = None)

ABC = AdaBoostClassifier(base_estimator = DTC)

# run grid search
grid_search_ABC = GridSearchCV(ABC, param_grid=param_grid, scoring = 'roc_auc')

[OUT]
ValueError: Invalid parameter dtc for estimator AdaBoostClassifier(algorithm='SAMME.R',
      base_estimator=DecisionTreeClassifier(class_weight='auto', criterion='gini', max_depth=None,
        max_features='auto', max_leaf_nodes=None, min_samples_leaf=1,
        min_samples_split=2, min_weight_fraction_leaf=0.0,
        random_state=11, splitter='best'),
      learning_rate=1.0, n_estimators=50, random_state=11)

您发布的代码中有几处错误：

1. 的按键param_grid字典必须是字符串。你应该得到一个NameError.
2. 键“abc__n_estimators”应该只是“n_estimators”：您可能将其与管道语法混合。这里没有任何东西告诉Python字符串“abc”代表你的AdaBoostClassifier.
3. None（并不是none) 不是有效值n_estimators。默认值（可能是您的意思）是 50。

这是包含这些修复的代码。 要设置树估计器的参数，您可以使用允许访问嵌套参数的“__”语法。

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import AdaBoostClassifier
from sklearn.grid_search import GridSearchCV

param_grid = {"base_estimator__criterion" : ["gini", "entropy"],
              "base_estimator__splitter" :   ["best", "random"],
              "n_estimators": [1, 2]
             }


DTC = DecisionTreeClassifier(random_state = 11, max_features = "auto", class_weight = "auto",max_depth = None)

ABC = AdaBoostClassifier(base_estimator = DTC)

# run grid search
grid_search_ABC = GridSearchCV(ABC, param_grid=param_grid, scoring = 'roc_auc')

此外，1 或 2 个估计器对于 AdaBoost 来说并没有真正的意义。但我猜这不是您正在运行的实际代码。

希望这可以帮助。