如何使用 R 对两个回归的斜率执行 Welch 的 t 检验？

Question

I 运行对具有相同自变量的两组进行回归。然后，我想测试两个回归的斜率是否显着不同。

我读到当样本量和方差在两组之间不相等时，建议进行 Welch's t 检验。我找到了 t.test() 函数，但是我没有在斜坡上应用它。

Data <- data.frame(
  gender = sample (c("men", "women"), 2000, replace = TRUE),
  var1 = sample (c("value1", "value2"), 2000, replace = TRUE),
  var2 = sample (c("valueA", "valueB"), 2000, replace = TRUE),
  var3 = sample (c("valueY", "valueZ"), 2000, replace = TRUE),
  y = sample(0:10, 2000, replace = TRUE)
)

我的两次回归：

lm.male <- lm(y ~ var1 + var2 + var3, data = subset(Data, gender == "men"))
summary(lm.male)

lm.women <- lm(y ~ var1 + var2 + var3, data = subset(Data, gender == "women"))
summary(lm.women)

使用 Stata，我会使用 suet 和 test 函数来执行测试。

有谁知道如何在 R 中编写 Welch 斜率 t 检验的代码？

Answer 1

我不会完全准确地回答你的问题，而是更一般的问题，即在 R 中，我将如何检验假设响应变量中疑似不等方差的两组斜率差异。

概述

有几个选项，我将介绍其中两个。所有好的选择都涉及将两个数据集组合成一个单一的建模策略，并面对一个 "full" 模型，其中包括性别和斜率的交互作用，以及一个具有附加性别作用的 "no interaction" 模型，但其他变量的斜率相同。

如果我们准备假设两个性别组的方差相同，我们只需使用普通最小二乘法将我们的两个模型拟合到组合数据并使用经典 F 检验：

Data <- data.frame(
  gender = sample (c("men", "women"), 2000, replace = TRUE),
  var1 = sample (c("value1", "value2"), 2000, replace = TRUE),
  var2 = sample (c("valueA", "valueB"), 2000, replace = TRUE),
  var3 = sample (c("valueY", "valueZ"), 2000, replace = TRUE),
  y = sample(0:10, 2000, replace = TRUE)
)


lm_full <- lm(y ~ (var1 + var2 + var3) * gender, data = Data)
lm_nointeraction <- lm(y ~ var1 + var2 + var3 + gender, data = Data)

# If the variance were equal we could just do an F-test:
anova(lm_full, lm_nointeraction)

但是，这个假设是不可接受的，所以我们需要一个替代方案。我觉得this discussion on Cross-Validated有用。

选项 1 - 加权最小二乘法

我不确定这是否与韦尔奇的 t-test 相同；我怀疑这是它的更高层次的概括。这是解决该问题的一种非常简单的参数化方法。基本上，我们只是在响应均值的同时对响应的方差进行建模。然后在拟合过程（变得迭代）中，我们对预期具有更高方差（即更多随机性）的点给予更少的权重。 gls 函数——广义最小二乘法——在 nlme 包中为我们做这个。

# Option 1 - modelling variance, and making weights inversely proportional to it
library(nlme)
gls_full <- gls(y ~ (var1 + var2 + var3) * gender, data = Data, weights = varPower())
gls_nointeraction <- gls(y ~ var1 + var2 + var3 + gender, data = Data, weights = varPower())

# test the two models against eachother (preferred):
AIC(gls_full, gls_nointeraction) # lower value wins

# or test individual interactions:
summary(gls_full)$tTable

选项 2 - 稳健回归，通过 bootstrap

进行比较

第二种选择是使用 M-estimation，它的设计目的是对数据中各组的不等方差具有鲁棒性。比较两个模型的稳健回归的良好做法是选择某种验证统计数据并使用 bootstrap 查看平均哪个模型在该统计数据上表现更好。

这有点复杂，但这是一个使用您的模拟数据的有效示例：

# Option 2 - use robust regression and the bootstrap
library(MASS)
library(boot)
rlm_full <- rlm(y ~ (var1 + var2 + var3) * gender, data = Data)
rlm_nointeraction <- rlm(y ~ var1 + var2 + var3 + gender, data = Data)

# Could just test to see which one fits best (lower value wins)
AIC(rlm_full, rlm_nointeraction)

# or - preferred - use the bootstrap to validate each model and pick the best one.
# First we need a function to give us a performance statistic on how good
# a model is at predicting values compared to actuality.  Let's use root 
#  mean squared error:
RMSE <- function(predicted, actual){
  sqrt(mean((actual - predicted) ^ 2))
}

# This function takes a dataset full_data, "scrambled" by the resampling vector i.
# It fits the model to the resampled/scrambled version of the data, and uses this
# to predict the values of y in the full original unscrambled dataset.  This is
# described as the "simple bootstrap" in Harrell *Regression Modeling Strategies*,
# buiolding on Efron and Tibshirani.
simple_bootstrap <- function(full_data, i){
  sampled_data <- full_data[i, ]

  rlm_full <- rlm(y ~ (var1 + var2 + var3) * gender, data = sampled_data)
  rlm_nointeraction <- rlm(y ~ var1 + var2 + var3 + gender, data = sampled_data)

  pred_full <- predict(rlm_full, newdata = full_data)
  pred_nointeraction <- predict(rlm_nointeraction, newdata = full_data)

  rmse_full <- RMSE(pred_full, full_data$y)
  rmse_nointeraction <- RMSE(pred_nointeraction, full_data$y)
  return(rmse_full - rmse_nointeraction)
}

rlm_boot <- boot(Data, statistic = simple_bootstrap, R = 500, strata = Data$gender)

# Confidence interval for the improvement from the full model, compared to the one with no interaction:
boot.ci(rlm_boot, type = "perc")

结论

以上一项或一项都合适。当我怀疑方差中的方差时，我通常会认为 bootstrap 是推理的一个重要方面。例如，即使您使用 nlme::gls 也可以使用它。 bootstrap 更健壮，并使许多用于处理特定情况的旧命名统计测试变得多余。

如何使用 R 对两个回归的斜率执行 Welch 的 t 检验？

How to perform Welch's t-test on slopes from two regressions with R?

r

regression

linear-regression

t-test

概述

选项 1 - 加权最小二乘法

选项 2 - 稳健回归，通过 bootstrap

结论