从 ROC 曲线获取阈值

我有一些模型，使用ROCR将预测类百分比向量封装起来，我有一个性能对象。使用规格“tpr”、“fpr”绘制性能对象可以得到一条 ROC 曲线。

我正在比较特定误报率阈值 (x) 的模型。我希望从性能对象中获取真阳性率 (y) 的值。更重要的是，我想获得用于生成该点的类别百分比阈值。

误报率指数（x-value）最接近阈值而不高于阈值，应该给我适当的真阳性率的索引号（y-value）。我不太确定如何获取该索引值。

更重要的是，我如何获得用于证明这一点的类别概率的阈值？

这就是为什么str是我最喜欢的 R 函数：

library(ROCR)
data(ROCR.simple)
pred <- prediction( ROCR.simple$predictions, ROCR.simple$labels)
perf <- performance(pred,"tpr","fpr")
plot(perf)
> str(perf)
Formal class 'performance' [package "ROCR"] with 6 slots
  ..@ x.name      : chr "False positive rate"
  ..@ y.name      : chr "True positive rate"
  ..@ alpha.name  : chr "Cutoff"
  ..@ x.values    :List of 1
  .. ..$ : num [1:201] 0 0 0 0 0.00935 ...
      ..@ y.values    :List of 1
      .. ..$ : num [1:201] 0 0.0108 0.0215 0.0323 0.0323 ...
  ..@ alpha.values:List of 1
  .. ..$ : num [1:201] Inf 0.991 0.985 0.985 0.983 ...

啊啊！这是一个S4 class http://www.stat.auckland.ac.nz/S-Workshop/Gentleman/S4Objects.pdf，所以我们可以使用@访问插槽。这是你如何制作一个data.frame:

cutoffs <- data.frame([email protected] /cdn-cgi/l/email-protection[[1]], [email protected] /cdn-cgi/l/email-protection[[1]], 
                      [email protected] /cdn-cgi/l/email-protection[[1]])
> head(cutoffs)
        cut         fpr        tpr
1       Inf 0.000000000 0.00000000
2 0.9910964 0.000000000 0.01075269
3 0.9846673 0.000000000 0.02150538
4 0.9845992 0.000000000 0.03225806
5 0.9834944 0.009345794 0.03225806
6 0.9706413 0.009345794 0.04301075

如果您有想要达到的 fpr 阈值，您可以将其子集化data.frame找到低于此 fpr 阈值的最大 tpr：

cutoffs <- cutoffs[order(cutoffs$tpr, decreasing=TRUE),]
> head(subset(cutoffs, fpr < 0.2))
          cut       fpr       tpr
96  0.5014893 0.1495327 0.8494624
97  0.4997881 0.1588785 0.8494624
98  0.4965132 0.1682243 0.8494624
99  0.4925969 0.1775701 0.8494624
100 0.4917356 0.1869159 0.8494624
101 0.4901199 0.1962617 0.8494624