使用 ranger R 包计算 Brier 分数和综合 Brier 分数

Question

我想使用 "ranger" R 包为我的分析计算 Brier 分数和综合 Brier 分数。

作为示例，我使用"survival"包中的退伍军人数据如下

install.packages("ranger")
library(ranger)
install.packages("survival")
library(survival)
#load veteran data
data(veteran)
data <- veteran
# training and test data
n <- nrow(data)
testind <- sample(1:n,n*0.7)
trainind <- (1:n)[-testind]
#train ranger
rg <- ranger(Surv(time, status) ~ ., data = data[trainind,])
# use rg to predict test data
pred <- predict(rg,data=data[testind,],num.trees=rg$num.trees)
#cummulative hazard function for each sample
pred$chf
#survival probability for each sample
pred$survival

如何计算 Brier 分数和综合 Brier 分数？

Answer 1

可以使用 pec 包的 pec 函数计算综合布赖尔分数 (IBS)，但您需要定义 predictSurvProb 命令以从中提取生存概率预测ranger 建模方法（?pec:::predictSurvProb 可用模型列表）。
一个可能的解决方案是：

predictSurvProb.ranger <- function (object, newdata, times, ...) {
    ptemp <- ranger:::predict.ranger(object, data = newdata, importance = "none")$survival
    pos <- prodlim::sindex(jump.times = object$unique.death.times, 
        eval.times = times)
    p <- cbind(1, ptemp)[, pos + 1, drop = FALSE]
    if (NROW(p) != NROW(newdata) || NCOL(p) != length(times)) 
        stop(paste("\nPrediction matrix has wrong dimensions:\nRequested newdata x times: ", 
            NROW(newdata), " x ", length(times), "\nProvided prediction matrix: ", 
            NROW(p), " x ", NCOL(p), "\n\n", sep = ""))
    p
}

该函数可以如下使用：

library(ranger)
library(survival)
data(veteran)
dts <- veteran
n <- nrow(dts)
set.seed(1)
testind <- sample(1:n,n*0.7)
trainind <- (1:n)[-testind]
rg <- ranger(Surv(time, status) ~ ., data = dts[trainind,])

# A formula to be inputted into the pec command
frm <- as.formula(paste("Surv(time, status)~",
       paste(rg$forest$independent.variable.names, collapse="+")))

library(pec)
# Using pec for IBS estimation
PredError <- pec(object=rg,
    formula = frm, cens.model="marginal",
    data=dts[testind,], verbose=F, maxtime=200)

可以使用print.pec命令评估IBS，在times中指示显示IBS的时间点：

print(PredError, times=seq(10,200,50))

# ...
# Integrated Brier score (crps):
# 
#            IBS[0;time=10) IBS[0;time=60) IBS[0;time=110) IBS[0;time=160)
# Reference          0.043          0.183           0.212           0.209
# ranger             0.041          0.144           0.166           0.176

使用 ranger R 包计算 Brier 分数和综合 Brier 分数

Calculating Brier Score and Integrated Brier Score using ranger R package

regression

r

machine-learning

random-forest

survival-analysis