微调超参数不会提高分类器的分数

我遇到一个问题，即使用 GridSearchCV 微调超参数并不能真正改善我的分类器。我认为改进应该比这更大。我使用当前代码获得的分类器的最大改进约为 +-0.03。我有一个包含八列和不平衡二进制结果的数据集。对于评分，我使用 f1，并使用 KFold 进行 10 次分割。我希望有人能发现一些不对劲的地方，我应该看看？谢谢你！

我使用以下代码：

model_parameters = {
    "GaussianNB": {     
    },
    "DecisionTreeClassifier": {
        'min_samples_leaf': range(5, 9),
        'max_depth': [None, 0, 1, 2, 3, 4]
    },
    "KNeighborsClassifier": {
        'n_neighbors': range(1, 10),
        'weights': ["distance", "uniform"]
    },
    "SVM": {
        'kernel': ["poly"],
        'C': np.linspace(0, 15, 30)
    },
    "LogisticRegression": {
        'C': np.linspace(0, 15, 30),
        'penalty': ["l1", "l2", "elasticnet", "none"]
    }
}

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4)
n_splits = 10
scoring_method = make_scorer(lambda true_target, prediction: f1_score(true_target, prediction, average="micro"))
cv = KFold(n_splits=n_splits, random_state=random_state, shuffle=True)

for model_name, parameters in model_parameters.items():

    # Models is a dict with 5 classifiers
    model = models[model_name]
    grid_search = GridSearchCV(model, parameters, cv=cv, n_jobs=-1, scoring=scoring_method, verbose=False).fit(X_train, y_train)
    
    cvScore = cross_val_score(grid_search.best_estimator_, X_test, y_test, cv=cv, scoring='f1').mean()
    classDict[model_name] = cvScore

如果你的类不平衡，当你做 Kfold 时你应该保持两个目标之间的比例。

折叠不平衡可能会导致非常糟糕的结果

check 分层 K-Folds 交叉验证器 https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.StratifiedKFold.html

提供训练/测试索引来分割训练/测试集中的数据。

这个交叉验证对象是 KFold 的变体，它返回 分层褶皱。折叠是通过保留百分比来进行的 每个班级的样本。

还有很多处理不平衡数据集的技术。根据上下文：

• 对少数类进行上采样（例如使用从 sklearn 重新采样 https://elitedatascience.com/imbalanced-classes)
• 对多数类进行抽样不足（也是这个lib https://pypi.org/project/imbalanced-learn/有一些有用的工具可以进行下采样）
• 使用特定的 ML 模型处理不平衡

例如，在SVC中，创建模型时有一个参数，class_weight='balanced'

clf_3 = SVC(kernel='linear', 
            class_weight='balanced', # penalize
            probability=True)

这将对少数类别的错误进行更多惩罚。

您可以这样更改您的配置：

"SVM": {
        'kernel': ["poly"],
        'C': np.linspace(0, 15, 30),
        'class_weight': 'balanced'

    }

对于 LogisticRegression，您可以设置权重，反映类的比例

LogisticRegression(class_weight={0:1, 1:10}) # if problem is a binary one

以这种方式更改网格搜索字典：

"LogisticRegression": {
        'C': np.linspace(0, 15, 30),
        'penalty': ["l1", "l2", "elasticnet", "none"],
        'class_weight':{0:1, 1:10}
    }

无论如何，该方法取决于所使用的模型。例如，对于神经网络，您可以更改损失函数，通过加权计算来惩罚少数类（与逻辑回归相同）