使用预测概率的插入符包中的自定义性能函数

这个帖子是关于在中使用自定义性能测量函数caret包裹。您想要找到最佳的预测模型，因此您构建了多个预测模型，并通过计算通过比较观察值和预测值得出的单个指标来比较它们。有默认函数来计算此指标，但您也可以定义自己的指标函数。此自定义函数必须将观测值和预测值作为输入。

在分类问题（假设只有两个类别）中，预测值是0 or 1。然而，我需要评估的也是模型中计算的概率。有什么办法可以实现这一点吗？

原因是在某些应用程序中您需要知道是否1预测实际上有 99% 的概率或 51% 的概率 - 不仅仅是预测为 1 或 0。

有人可以帮忙吗？

Edit好的，让我尝试更好地解释一下。在文档中caret5.5.5（替代性能指标）下的包有一个描述如何使用您自己的自定义性能函数，如下所示

fitControl <- trainControl(method = "repeatedcv",
                           number = 10,
                           repeats = 10,
                           ## Estimate class probabilities
                           classProbs = TRUE,
                           ## Evaluate performance using 
                           ## the following function
                           summaryFunction = twoClassSummary)

twoClassSummary是本例中的自定义性能函数。此处提供的函数需要将数据框或矩阵作为输入obs and pred。这就是要点 - 我想使用一个不接受观察和预测，而是观察和预测的函数可能性.

还有一件事：

也欢迎其他软件包的解决方案。我唯一不寻找的是“这就是你编写自己的交叉验证函数的方式”。

当您指定时，插入符确实支持将类概率传递给自定义汇总函数classProbs = TRUE in trainControl。在这种情况下data创建自定义汇总函数时的参数将具有额外的两列，名为类，其中包含每个类的概率。这些类的名称将在lev参数是长度为 2 的向量。

参见示例：

library(caret)
library(mlbench)
data(Sonar)

自定义总结LogLoss：

LogLoss <- function (data, lev = NULL, model = NULL){ 
  obs <- data[, "obs"] #truth
  cls <- levels(obs) #find class names
  probs <- data[, cls[2]] #use second class name to extract probs for 2nd clas
  probs <- pmax(pmin(as.numeric(probs), 1 - 1e-15), 1e-15) #bound probability, this line and bellow is just logloss calculation, irrelevant for your question 
  logPreds <- log(probs)        
  log1Preds <- log(1 - probs)
  real <- (as.numeric(data$obs) - 1)
  out <- c(mean(real * logPreds + (1 - real) * log1Preds)) * -1
  names(out) <- c("LogLoss") #important since this is specified in call to train. Output can be a named vector of multiple values. 
  out
}

fitControl <- trainControl(method = "cv",
                           number = 5,
                           classProbs = TRUE,
                           summaryFunction = LogLoss)


fit <-  train(Class ~.,
             data = Sonar,
             method = "rpart", 
             metric = "LogLoss" ,
             tuneLength = 5,
             trControl = fitControl,
             maximize = FALSE) #important, depending on calculated performance measure

fit
#output
CART 

208 samples
 60 predictor
  2 classes: 'M', 'R' 

No pre-processing
Resampling: Cross-Validated (5 fold) 
Summary of sample sizes: 166, 166, 166, 167, 167 
Resampling results across tuning parameters:

  cp          LogLoss  
  0.00000000  1.1220902
  0.01030928  1.1220902
  0.05154639  1.1017268
  0.06701031  1.0694052
  0.48453608  0.6405134

LogLoss was used to select the optimal model using the smallest value.
The final value used for the model was cp = 0.4845361.

或者使用lev包含类级别并定义一些错误检查的参数

LogLoss <- function (data, lev = NULL, model = NULL){ 
 if (length(lev) > 2) {
        stop(paste("Your outcome has", length(lev), "levels. The LogLoss() function isn't appropriate."))
    }
  obs <- data[, "obs"] #truth
  probs <- data[, lev[2]] #use second class name
  probs <- pmax(pmin(as.numeric(probs), 1 - 1e-15), 1e-15) #bound probability
  logPreds <- log(probs)        
  log1Preds <- log(1 - probs)
  real <- (as.numeric(data$obs) - 1)
  out <- c(mean(real * logPreds + (1 - real) * log1Preds)) * -1
  names(out) <- c("LogLoss")
  out
}

查看插入符书的这一部分：https://topepo.github.io/caret/model-training-and-tuning.html#metrics

获取更多信息。如果您打算使用插入符号，即使您不这样做，这本书也值得一读。