R手册(Machine Learning)–mlr (Part 1)
R手册(Machine Learning)–mlr (Part 2)
用getMlrOptions()查看mlr 的现有设置
用configureMlr()更改mlr的默认设置
参数：
mlr结合parallelMap包利用多核和集群运算加快运行速度，mlr自动发现能进行并行的操作。
开始并行：parallelStart(mode=,cpus=,level=)
结束并行：parallelStop()
| 参数 | 说明 |
|---|---|
| mode | 决定并行的方式 |
| “local” | 无并行性，简单的使用mapply |
| “multicore” | 单机器上多核，使用parallel::mclapply，windows上不适用 |
| “socket” | 多核socked mode |
| “mpi” | 一个或多个机器上集群运算，使用parallel::makeCluster and parallel::clusterMap |
| “BatchJobs” | 批排队HPC集群，使用BatchJobs::batchMap |
| cpus | 使用的物理内核数 |
| level | 控制并行，使用"mlr.benchmark" “mlr.resample” “mlr.selectFeatures” “mlr.tuneParams” “mlr.ensemble” |
impute(obj=,target=,cols=,dummy.cols=,dummy.type=)
缺失的数据进行插补，返回一个列表，包括插补过额数据集或task，和插补描述
reimpute(obj=,desc=)用已被impute创建的插补描述(description, desc)插补缺失值
传递给cols或classes的list示例：
cols=list(V1=imputeMean()) V1是要插补的列，imputeMean()为要插补的方法
| 允许的插补方法 | 说明 |
|---|---|
| imputeConst(const=) | 常数 |
| imputeMedian() | 中位数 |
| imputeMode() | 众数 |
| imputeMin(multiplier=) | 最小值 |
| imputeMax(multiplier=) | 最大值 |
| imputeNormal(mean=,sd=) | 正态插补 |
| imputeHist(breaks=,use.mids=) | |
| imputeLearner(learner=,features=) | 模型插补 |
filterFeatures(task=,method=,perc=,abs=,threshold=)
按特征的重要性进行排序，选择其中的top n percent(perc=), top n(abs=) or 设定阈值(threshold=)，返回task，没有被筛选的特征将会被删除。
默认的筛选方法为"randomForestSRC.rfsrc"，也可以设置其他方法：
“anova.test” “carscore” “cforest.importance”
“chi.squared” “gain.ratio” “information.gain”
“kruskal.test” “linear.correlation” “mrmr” “oneR”
“permutation.importance” “randomForest.importance”
“randomForestSRC.rfsrc” “randomForestSRC.var.select”
“rank.correlation” “relief”
“symmetrical.uncertainty” “univariate.model.score”
“variance”
selectFeatures(learner=,task=, resampling=,measures=,control=)
用一个特征选择算法(control)重抽样和建立模型，反复选择不同的特征集，直到找到最好的特征集。返回FeatSelResult对象，包括最佳选择和最佳路径。
tsk = subsetTask(tsk,features=fsr$x)应用最佳选择结果(fsr)到task(tsk)
特征选择算法(control)：
makeFeatSelControlExhaustive(max.features=)尝试每一种特征组合，可选参数max.featuresmakeFeatSelControlRandom(maxit=,prob=,max.features=)随机抽取特征集(概率prob,default 0.5) 迭代(maxit,default 100)，返回其中最好的。makeFeatSelControlSequential(method=,maxit=,max.features=,alpha=,beta=)用以下的迭代算法搜寻，评估：makeFeatSelControlGA(maxit=,max.features=,mu=,lambda=,crossover.rate=,mutation.rate=)随机特征向量的遗传算法，然后利用最佳性能的交叉来产生后代，代代相传，参数：benchmark(learners=,tasks=,resamplings=,measures=)
允许进行简单的比较：执行单一task的多重learner，执行多重task的单一learner，或者执行多重task的多重learner，返回一个基准结果对象。
基准结果被函数getBMR<object>接收：
AggrPerformance
FeatSelResults FilteredFeatures LearnerIds
LeanerShortNames Learners MeasureIds Measures
Models Performances Predictions TaskDescs TaskIds
TuneResults
mlr内置了许多有趣的task，对基准学习很有帮助：
agri.task bc.task bh.task costiris.task iris.task
lung.task mtcars.task pid.task sonar.task
wpbc.task yeast.task
1. 可视化总表
| 生成数据函数 | ggplot2绘图函数 | ggvis绘图函数 | 说明 |
|---|---|---|---|
| generateThreshVsPerfData | plotThresVsPerf | plotThreshVsPerfGGVIS | 性能 |
| plotROCCurves | - | ROC分析 | |
| generateCritDifferencesData | plotCritDifferences | - | 基准实验 |
| generateHyperParsEffectData | plotHyperParsEffect | 调整，超参数调整效果 | |
| generateFilterValuesData | plotFilterValues | plotFilterValuesGGVIS | 功能选择 |
| generateLearningCurveData | plotLearningCurve | plotLearningCurveGGVIS | 学习曲线 |
| generatePartialDependenceData | plotPartialDependence | plotPartialDependenceGGVIS | 部分依赖情节 |
| generateFunctionalANOVAData | |||
| generateCalibrationData | plotCalibration | - | 分类器校准图 |
2. 可视化函数说明
| Performance | 表现 |
|---|---|
| generateThreshVsPerfData(obj=,measures=) | 获得二分类问题不同切分点评估质量，促使选出最优阈值(threshold) |
| plotThreshVsPerf(obj) | 用ThreshVsPerfData数据作出阈值可视化表现 |
| plotROCCurves(obj) | 用ThreshVsPerfData数据做出ROC曲线，一定要设定measures=list(fpr,tpr) |
| Residuals | 残差 |
| plotResiduals(obj=) | 为Prediction 或BenchmarkResult对象作残差 |
示例
n = getTaskSize(sonar.task)
train.set = sample(n, size = round(2/3 * n))
test.set = setdiff(seq_len(n), train.set)
lrn1 = makeLearner("classif.lda", predict.type = "prob")
mod1 = train(lrn1, sonar.task, subset = train.set)
pred1 = predict(mod1, task = sonar.task, subset = test.set)
df = generateThreshVsPerfData(pred1, measures = list(fpr, tpr, mmce))
performance(pred1, auc)
#> auc
#> 0.847973
plotThreshVsPerf(df)
lrn2 = makeLearner("classif.ksvm", predict.type = "prob") # 需要载入包kernlab
mod2 = train(lrn2, sonar.task, subset = train.set)
pred2 = predict(mod2, task = sonar.task, subset = test.set)
df = generateThreshVsPerfData(list(lda = pred1, ksvm = pred2), measures = list(fpr, tpr))
plotROCCurves(df)
| Learning curve | 学习曲线 |
|---|---|
| generateLearningCurveData(learners=,task=,resampling=,percs=,measures=) | 获得不同百分比的task data上做模型评估质量数据 |
| plotLearningCurve(obj=) | 比较数据的已使用和模型质量的关系，使用LearningCurveData对象 |
示例
r = generateLearningCurveData(
learners = c("classif.rpart", "classif.knn"),
task = sonar.task,
percs = seq(0.1, 1, by = 0.2),
measures = list(tp, fp, tn, fn),
resampling = makeResampleDesc(method = "CV", iters = 5),
show.info = FALSE)
plotLearningCurve(r)
| Feature importance | 特征重要性 |
|---|---|
| generateFilterValuesData(task=,method=) | 用指定的选择方法获得排序的特征重要性 |
| plotFilterValues(obj=) | 可视化特征重要性，FilterValuesData对象 |
示例
fv = generateFilterValuesData(iris.task)
plotFilterValues(fv)
| Hyperparameters tuning | 超参数调优 |
|---|---|
| generateHyperParsEffectData(tune.result=) | 获得不同超参数的影响 |
| plotHyperParsEffect(hyperpars.effect.data=,x=,y=,z=) | 可视化超参数影响，HyperParsEffectData对象 |
| plotOptPath(op=) | 可视化最优进程详情，<obj>$opt.path对象， <obj>是 tuneResult或 featSelResult类的对象。 |
| plotTuneMultiCritResult(res=) | 展示pareto图，多重评估质量的调优结果 |
示例
ps = makeParamSet(
makeNumericParam("C", lower = -5, upper = 5, trafo = function(x) 2^x)
)
ctrl = makeTuneControlGrid()
rdesc = makeResampleDesc("Holdout")
lrn = makeTuneWrapper("classif.ksvm", control = ctrl,
measures = list(acc, mmce), resampling = rdesc, par.set = ps, show.info = FALSE)
res = resample(lrn, task = pid.task, resampling = cv2, extract = getTuneResult, show.info = FALSE)
data = generateHyperParsEffectData(res)
plotHyperParsEffect(data, x = "C", y = "acc.test.mean", plot.type = "line")
| Partial dependence | 部分依赖 |
|---|---|
| generatePartialDependenceData(obj=,input=) | 获得模型(obj)的部分依赖预测，通过每一次的特征数据输入(input) |
| plotPartialDependence(obj=) | 部分依赖图，PartialDependenceData对象 |
示例
lrn.regr = makeLearner("regr.ksvm")
fit.regr = train(lrn.regr, bh.task)
pd.regr = generatePartialDependenceData(fit.regr, bh.task, "lstat", fun = median)
plotPartialDependence(pd.regr)
lrn.classif = makeLearner("classif.ksvm", predict.type = "prob")
fit.classif = train(lrn.classif, iris.task)
pd.classif = generatePartialDependenceData(fit.classif, iris.task, "Petal.Length", fun = median)
plotPartialDependence(pd.classif)
| Benchmarking | 基准点 |
|---|---|
| plotBMRBoxplots(bmr=) | 表现的分类图 |
| plotBMRSummary(bmr=) | 平均表现的散点图 |
| plotBMRRanksAsBarChart(bmr=) | learner 排序柱形图 |
| Other | 其他图 |
|---|---|
| generateCritDifferencesData(bmr=,measure=,p.value=,test=) | 执行临界差检验,用bonforroni-dunn(“bd”) 或"Nemenyi"检验 |
| plotCritDifferences(obj=) | 临界点检验可视化 |
| generateCalibrationData(obj=) | 评估概率预测与真实发生率的校准 |
| plotCalibration(obj=) | 校准图 |
封装器使具有附加功能的学习者融合。mlr把带有封装器的learner看作一个单独的learner，超参数的封装也会与基础模型参数联合调谐。带包装的模型将应用于新数据。
| Preprocessing and imputation | 预处理和插补 |
|---|---|
| makeDummyFeaturesWrapper(learner=) | |
| makeImputeWrapper(learner=,classes=,cols=) | |
| makePreprocWrapper(learner=,train=,predict=) | |
| makePreprocWrapperCaret(learner=,…) | |
| makeRemoveConstantFeaturesWrapper(learner=) | |
| Class imbance | 类别不平衡 |
| makeOverBaggingWrapper(learner=) | |
| makeSMOTEWrapper(learner=) | |
| makeUndersampleWrapper(learner=) | |
| makeWeightedClassesWrapper(learner=) | |
| Cost-sensitive | 成本分析 |
| makeCostSensClassifWrapper(learner=) | |
| makeCostSensRegrWrapper(learner=) | |
| makeCostSensWeightedPairsWrapper(learner=) | |
| Multilabel classification | 多标签分类 |
| makeMultilabelBinaryRelevanceWrapper(learner=) | |
| makeMultilabelClassifierChainsWrapper(learner=) | |
| makeMultilabelDBRWrapper(learner=) | |
| makeMultilabelNestedStackingWrapper(learner=) | |
| makeMultilabelStackingWrapper(learner=) | |
| Other | 其他 |
| makeBaggingWrapper(learner=) | |
| makeConstantClassWrapper(learner=) | |
| makeDownsampleWrapper(learner=,dw.perc=) | |
| makeFeatSelWrapper(learner=,resampling=,control=) | |
| makeFilterWrapper(learner=,fw.perc=,fw.abs=,fw.threshold=) | |
| makeMultiClassWrapper(learner=) | |
| makeTuneWrapper(learner=,resampling=,par.set=,control=) |
mlr支持嵌套重采样进行复杂操作，例如通过包装来调优和特征选择等。为了获得良好的泛化性能估计和避免数据泄漏，建议使用外部（用于调优/特征选择）和内部（对于基本模型）重采样过程。
makeStackedLearner(base.learners=,super.learner=,method=)将多重learner集成
参数：
