我有一个高度不平衡的数据集(99.5:0.5)。我想使用以下命令对随机森林模型执行超参数调整sklearn
's RandomizedSearchCV
。我希望使用 SMOTE 对每个训练折叠进行过采样,然后在最终折叠上评估每个测试,保持原始分布而不进行任何过采样。由于这些测试折叠高度不平衡,我希望使用 F1 分数来评估测试。
我已经尝试过以下方法:
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import RandomizedSearchCV, StratifiedKFold
from imblearn.over_sampling import SMOTE
from imblearn.pipeline import make_pipeline
import pandas as pd
dataset = pd.read_csv("data/dataset.csv")
data_x = dataset.drop(["label"], axis=1)
data_y = dataset["label"]
smote = SMOTE()
model = RandomForestClassifier()
pipeline = make_pipeline(smote, model)
grid = {
"randomforestclassifier__n_estimators": [10, 25, 50, 100, 250, 500, 750, 1000, 1250, 1500, 1750, 2000],
"randomforestclassifier__criterion": ["gini", "entropy"],
"randomforestclassifier__max_depth": [10, 20, 30, 40, 50, 75, 100, 150, 200, None],
"randomforestclassifier__min_samples_split": [1, 2, 3, 4, 5, 8, 10, 15, 20],
"randomforestclassifier__min_samples_leaf": [1, 2, 3, 4, 5, 8, 10, 15, 20],
"randomforestclassifier__max_features": ["auto", None, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
"randomforestclassifier__bootstrap": [True, False],
"randomforestclassifier__max_samples": [None, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
}
kf = StratifiedKFold(n_splits=5)
search = RandomizedSearchCV(pipeline, grid, scoring='f1', n_iter=10, n_jobs=-1, cv=kf)
search = search.fit(data_x, data_y)
print(search.best_params_)
但是,我不确定 SMOTE 是否应用于每次迭代的测试集。
如何确保 SMOTE 仅应用于训练折叠,而不应用于测试折叠?
EDIT:
本文 https://kiwidamien.github.io/how-to-do-cross-validation-when-upsampling-data.html似乎回答了我的问题(特别是在第 3B 节中),提供了我正在尝试执行的示例代码,并演示了它如何按照我指定的方式工作