如何在 R 中绘制来自随机森林的每棵树 ROC 曲线？

Question

我知道 randomForest 应该是一个黑盒子，而且大多数人对整个分类器的 ROC 曲线感兴趣，但我正在研究一个需要检查单个树的问题射频。我对 R 不是很有经验，那么为 RF 生成的单个树绘制 ROC 曲线的简单方法是什么？

Answer 1

我认为您无法从 randomForest 包生成的随机森林中的单棵树生成 ROC 曲线。您可以从预测中访问每棵树的输出，例如在训练集上。

# caret for an example data set
library(caret)
library(randomForest)

data(GermanCredit)

# use only 50 rows for demonstration
nrows = 50

# extract the first 9 columns and 50 rows as training data (column 10 is "Class", the target)
x = GermanCredit[1:nrows, 1:9]
y = GermanCredit$Class[1:nrows]

# build the model
rf_model = randomForest(x = x, y = y, ntree = 11)

# Compute the prediction over the training data. Note predict.all = TRUE
rf_pred = predict(rf_model, newdata = x, predict.all = TRUE, type = "prob")

您可以使用

访问每棵树的预测

 rf_pred$individual

但是，单棵树的预测只是最有可能的标签。对于 ROC 曲线，您需要 class 概率，以便更改决策阈值会改变预测的 class 以改变正确率和错误率。

据我所知，至少在包 randomForest 中没有办法让叶子输出概率而不是标签。如果你用 getTree() 检查一棵树，你会看到预测是二元的；使用 getTree(rf_model, k = 1, labelVar = TRUE) 你会看到纯文本的标签。

不过，您可以通过 predict.all = TRUE 检索单个预测，然后手动计算整个森林子集上的 class 标签。然后你可以输入一个函数来计算 ROC 曲线，就像 ROCR 包中的那样。

编辑：好的，根据您在评论中提供的 link，我知道了如何获得 ROC 曲线。首先，我们需要提取一棵特定的树，然后将每个数据点输入到树中，以计算每个节点成功 class 的出现次数以及每个节点的总数据点。该比率给出了节点成功的概率 class。接下来，我们做类似的事情，即将每个数据点输入到树中，但现在记录概率。这样我们就可以将 class 概率与真实标签进行比较。这是代码：

# libraries we need
library(randomForest)
library(ROCR)

# Set fixed seed for reproducibility
set.seed(54321)

# Define function to read out output node of a tree for a given data    point
travelTree = function(tree, data_row) {
    node = 1
    while (tree[node, "status"] != -1) {
        split_value = data_row[, tree[node, "split var"]]
        if (tree[node, "split point"] > split_value ) {
            node = tree[node, "right daughter"]
        } else {
            node = tree[node, "left daughter"]
        }
    }
    return(node)
}

# define number of data rows
nrows = 100
ntree = 11

# load example data
data(GermanCredit)

# Easier access of variables
x = GermanCredit[1:nrows, 1:9]
y = GermanCredit$Class[1:nrows]

# Build RF model
rf_model = randomForest(x = x, y = y, ntree = ntree, nodesize = 10)

# Extract single tree and add variables we need to compute class probs
single_tree = getTree(rf_model, k = 2, labelVar = TRUE)
single_tree$"split var" = as.character(single_tree$"split var")
single_tree$sum_good = 0
single_tree$sum = 0
single_tree$pred_prob = 0


for (zeile in 1:nrow(x)) {
    out_node = travelTree(single_tree, x[zeile, ])
    single_tree$sum_good[out_node] = single_tree$sum_good[out_node] + (y[zeile] == "Good")
    single_tree$sum[out_node] = single_tree$sum[out_node] + 1
}

# Compute class probabilities from count of "Good" data points in each node.
# Make sure we do not divide by zero
idcs = single_tree$sum != 0
single_tree$pred_prob[idcs] = single_tree$sum_good[idcs] /     single_tree$sum[idcs]

# Compute prediction by inserting again data set into tree, but read out
# previously computed probs

single_tree_pred = rep(0, nrow(x))

for (zeile in 1:nrow(x)) {
    out_node = travelTree(single_tree, x[zeile, ])
    single_tree_pred[zeile] = single_tree$pred_prob[out_node]
}

# Et voila: The ROC curve for single tree!
plot(performance(prediction(single_tree_pred, y), "tpr", "fpr"))

如何在 R 中绘制来自随机森林的每棵树 ROC 曲线？

How to plot per tree ROC curves from randomForest in R?

r

random-forest

roc