使用 bartMachine R 包的预测概率是失败概率

Question

如果我运行使用 bartMachine 进行分类的 BART 模型，则返回的 p_hat_train 值对应于失败概率而不是成功概率，就像在 BART 的初始实现中所做的那样BayesTree R 包。

这是一个模拟二进制响应的示例：

library(bartMachine)
library(BayesTree)
library(logitnorm)

N = 1000
X <- rnorm(N, 0, 1)
p_true <- invlogit(1.5*X)
y <- rbinom(N, 1, p_true)

## bartMachine
fit <- bartMachine(data.frame(X), as.factor(y), num_burn_in = 200,
                   num_iterations_after_burn_in = 500)
p_hat <- fit$p_hat_train

## BayesTree
fit2 <- bart(X, as.factor(y), ntree = 50, ndpost = 500)
p_hat2 <- apply(pnorm(fit2$yhat.train), 2, mean)

par(mfrow = c(2,2))
plot(p_hat, p_true, main = 'p_hat_train with bartMachine')
abline(0, 1, col = 'red')
plot(1 - p_hat, p_true, main = '1 - p_hat_train with bartMachine')
abline(0, 1, col = 'red')
plot(p_hat2, p_true, main = 'pnorm(yhat.train) with BayesTree')
abline(0, 1, col = 'red')

Answer 1

检查 ?bartMachine 中的 iris 示例表明 bartMachine 正在估计观测值被分类为 y 变量第一级的概率，这在你的例子恰好是 0。为了得到你想要的结果，你需要在将 y 转换为一个因子时指定级别，即

fit <- bartMachine(data.frame(X), factor(y, levels = c("1", "0")), 
  num_burn_in = 200,
  num_iterations_after_burn_in = 500)

当我们检查 build_bart_machine:

的代码时，我们可以看到发生了什么

if (class(y) == "factor" & length(y_levels) == 2) {
        java_bart_machine = .jnew("bartMachine.bartMachineClassificationMultThread")
        y_remaining = ifelse(y == y_levels[1], 1, 0)
        pred_type = "classification"
    }

查看 bartMachine 的输出（使用您的原始规范）显示发生了什么：

head(cbind(fit$model_matrix_training_data, y))
#             X y_remaining y
# 1 -0.85093975           0 1
# 2  0.20955263           1 0
# 3  0.66489564           0 1
# 4 -0.09574123           1 0
# 5 -1.22480134           1 0
# 6 -0.36176273           1 0

使用 bartMachine R 包的预测概率是失败概率

Predicted probabilities using the bartMachine R package are failure probabilities

r

classification

bayesian