回归模型如何处理因子变量？

Question

假设我有一个包含因子和响应变量的数据。我的问题：

线性回归和混合效应模型如何处理因子变量？
如果我对因子变量 (m3 and m4) 的每个水平都有一个单独的模型，那与模型 m1 和 m2 有何不同？
哪个最好model/approach？

例如，我使用 nlme 包中的 Orthodont 数据。

library(nlme)
data = Orthodont
data2 <- subset(data, Sex=="Male")
data3 <- subset(data, Sex=="Female")

m1 <- lm (distance ~ age + Sex, data = Orthodont) 
m2 <- lme(distance ~ age , data = Orthodont, random = ~ 1|Sex)

m3 <- lm(distance ~ age, data= data2
m4 <- lm(distance ~ age, data= data3)

Answer 1

问题 1：线性回归和混合效应模型如何处理因子变量？
A1：因子被编码为虚拟变量（1 = 真，0= 假）。
例如，模型 1 的系数是：

coef(m1)    #lm( distance ~ age + Sex)
#(Intercept)         age   SexFemale 
# 17.7067130   0.6601852  -2.3210227

因此计算距离为：
距离 = 17.71 + 0.66*年龄 - 2.32*性别女性
其中 SexFemale 为 0 表示男性，1 表示女性。这简化为：
男：距离 = 17.71 + 0.66*年龄
女：距离=15.39+0.66*年龄

如果模型有更多类别（例如超重、健康、体重不足），则相应地添加虚拟变量：
R代码：lm(距离~年龄+体重状态)
计算：距离 = 年龄 + weightIsOver + weightIsHealthy + weightIsUnder
为每种体重类型创建三个单独的系数，并根据个人的体重类型乘以 0 或 1。

Q2：如果我对因子变量的每个水平（m3 和 m4）都有一个单独的模型，那么这与模型 m1 有何不同和 m2?
A2：斜率和截距根据您的模型而变化。
m1 是多元线性回归 (MLR)，其中截距根据性别而变化，但年龄的斜率相同.我们也可以将其称为随机斜率。线性混合效应 (LME) 模型 m2 还指定了一个因性别而异的截距 (1|Sex)。
m3 和 m4 ~ 随机斜率和随机截距模型，因为数据是分开的。

让我们指定一个具有随机斜率和随机截距的 LME：

m2a <- lme(distance ~ age, data = Orthodont, random= ~ age | Sex,
            control = lmeControl(opt="optim"))  
            #Changed the optimizer to achieve convergence

组合系数使我们能够检查模型的结构：

#Combine the model coefficients
coefs <- rbind(
                coef(m1)[1:2],                     
                coef(m1)[1:2] + c(coef(m1)[3], 0), #female coefficient added to intercept
                coef(m2),
                coef(m2a),
                coef(m3),
                coef(m4)); names(coefs) <- c("intercept", "age")
model.coefs <- data.frame(
                   model = paste0("m", c(1,1,2,2,"2a", "2a",3,4)),
                   type  = rep(c("MLR", "LME randomIntercept", "LME randomSlopes", 
                                  "separate LM"), each=2),
                   Sex = rep(c("male","female"), 4), 
                   coefs, row.names = 1:8)

model.coefs
#  model              model2    Sex intercept       age  #intercept & slope 
#1    m1                 MLR   male  17.70671 0.6601852  #different   same 
#2    m1                 MLR female  15.38569 0.6601852  
#3    m2 LME randomIntercept   male  17.67197 0.6601852  #different   same
#4    m2 LME randomIntercept female  15.43622 0.6601852 
#5   m2a    LME randomSlopes   male  16.65625 0.7540780  #different  different
#6   m2a    LME randomSlopes female  16.91363 0.5236138
#7    m3         separate LM   male  16.34062 0.7843750  #different  different
#8    m4         separate LM female  17.37273 0.4795455

Q3：哪个最好model/approach？
A3：看情况，应该是混合效应模型。

在您的示例中，m3 和 m4 彼此没有关系，并且每个性别固有地具有不同的斜率。可以检查 LME 模型以确定是否需要随机斜率（例如 anova(m2, m2a)）。当您有多个级别（例如学校内类内的学生）和重复测量（针对同一主题或跨时间的多项测量）时，混合效应模型是通用的。您还可以为这些模型指定 covariance structures。

为了可视化这些不同的模型，让我们看一下 Orthodont 数据：

library(ggplot)
gg <- ggplot(Orthodont, aes(age, distance, fill=Sex)) + theme_bw() +
        geom_point(shape=21, position= position_dodge(width=0.2)) +  
        stat_summary(fun.y = "mean", geom="point", size=8, shape=22, colour="black" ) +
        scale_fill_manual(values = c("Male" = "black", "Female" = "white"))

圆圈 = 原始数据，正方形 = 平均值。距离似乎随着年龄的增长而线性增加。男性的距离比女性高。斜率也可能因性别而异，与男性相比，女性的距离随年龄增加的幅度较小。（注意：原始数据在 x 轴上略微闪避以避免过度绘制。）

将我们的模型添加到数据中并放大：

gg1 <- gg +  
            geom_abline(data = model.coefs, size=1.5,
               aes(slope = age, intercept = intercept, colour = type, linetype = Sex)) 
gg1 + coord_cartesian(ylim = c(21, 27)) #zoom in

在这里，我们看到具有随机截距的 LME 模型类似于 MLR 模型。具有随机截距和随机斜率的 LME 类似于子集数据上的单独 LM。

最后，这里是如何使用 lme4 包制作等同于 m2 的方法：

m2 <- lme(distance ~ age , data = Orthodont, random = ~ 1|Sex)
library(lme4)
m5 <- lmer(distance ~ age + (1|Sex), data = Orthodont)  #same as m2

更多资源：
(Generalized) Linear Mixed Models FAQ
Comparing nlme and lme4 使用 Orthodont 数据。

回归模型如何处理因子变量？

How do regression models deal with the factor variables?

regression

r

lm

mixed-models

nlme