glm 模型如何处理训练后添加的未知因素水平？

Question

我正在用一个特定因子变量拟合一个 glm 模型，其中的数据不包含我要应用该模型的数据中该变量的所有级别。可以忽略未知级别，因此无论模型为它们预测什么，我都不在乎，只要它将其余部分视为训练和应用程序数据中的级别相同即可。

由于应用程序数据中的未知因素水平会产生错误，我搜索了一种解决方法，并在此处找到了 @matt_k 提供的一个很好的解决方法： "Factor has new levels" error for variable I'm not using

现在追加一个新级别仍然会给出警告信息：

In predict.lm(object, newdata, se.fit, scale = 1, type = ifelse(type == :
prediction from a rank-deficient fit may be misleading

所以我想知道到底发生了什么。我在一个非常简单的例子中尝试过，在 mpg 模型中省略了圆柱体 6 级别 mtcars:

mtcars$cyl <- as.factor(mtcars$cyl)
model <- glm(formula = mpg ~ cyl, data = mtcars[mtcars$cyl !=6,])
model$xlevels[["cyl"]] <- union(model$xlevels[["cyl"]], levels(mtcars$cyl))
mtcars$preds <- predict(model, newdata = mtcars)
head(mtcars,15)

给我：

                    mpg cyl  disp  hp drat    wt  qsec vs am gear carb    preds
Mazda RX4          21.0   6 160.0 110 3.90 2.620 16.46  0  1    4    4 26.66364
Mazda RX4 Wag      21.0   6 160.0 110 3.90 2.875 17.02  0  1    4    4 26.66364
Datsun 710         22.8   4 108.0  93 3.85 2.320 18.61  1  1    4    1 26.66364
Hornet 4 Drive     21.4   6 258.0 110 3.08 3.215 19.44  1  0    3    1 26.66364
Hornet Sportabout  18.7   8 360.0 175 3.15 3.440 17.02  0  0    3    2 15.10000
Valiant            18.1   6 225.0 105 2.76 3.460 20.22  1  0    3    1 26.66364
Duster 360         14.3   8 360.0 245 3.21 3.570 15.84  0  0    3    4 15.10000
Merc 240D          24.4   4 146.7  62 3.69 3.190 20.00  1  0    4    2 26.66364
Merc 230           22.8   4 140.8  95 3.92 3.150 22.90  1  0    4    2 26.66364
Merc 280           19.2   6 167.6 123 3.92 3.440 18.30  1  0    4    4 26.66364
Merc 280C          17.8   6 167.6 123 3.92 3.440 18.90  1  0    4    4 26.66364
Merc 450SE         16.4   8 275.8 180 3.07 4.070 17.40  0  0    3    3 15.10000
Merc 450SL         17.3   8 275.8 180 3.07 3.730 17.60  0  0    3    3 15.10000
Merc 450SLC        15.2   8 275.8 180 3.07 3.780 18.00  0  0    3    3 15.10000
Cadillac Fleetwood 10.4   8 472.0 205 2.93 5.250 17.98  0  0    3    4 15.10000

对我来说，模型似乎只是从另一个因子级别选择系数（在本例中，cyl = 4 的系数用于对 cyl = 6 进行预测）。因为这对我来说绝对没问题，如果有人能确认这确实发生了，我将不胜感激。

Answer 1

让我们从查看部分数据集的模型系数开始summary(model)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   26.664      1.068  24.966  < 2e-16 ***
cyl8         -11.564      1.427  -8.102 3.45e-08 ***

cyl8 的预测等于截距 + cyl8 的效果，因此 26.664 + -11.564 = 15.10。对于其他因子水平 (cyl4)，预测等于截距 (26.664)。添加未知的因子水平将产生相同的预测，因为 R 没有附加因子效应的基础（这些在原始模型中被排除）。我们可以看到，已知因素的估计不受基于完整数据估计模型的影响。

model2<- glm(formula = mpg ~ cyl, data = mtcars)
summary(model2)
Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  26.6636     0.9718  27.437  < 2e-16 ***
cyl6         -6.9208     1.5583  -4.441 0.000119 ***
cyl8        -11.5636     1.2986  -8.905 8.57e-10 ***

您看到 cyl8 和参考类别 cyl4 的估计效果没有变化（仍然分别为 15.10 和 26.66）。因此，该模型将对这些因素水平产生相同的预测。但是，正如您从新估计的系数中看到的那样，cyl6 的预测被高估了 6.92。

glm 模型如何处理训练后添加的未知因素水平？

What does a glm model do with unknown factor levels added after training?

r

glm