R 中的 lm：'contrasts' 错误的解决方法
lm in R: Workaround for 'contrasts' error
我正在使用大量数据（5000 万行）和 biglm 包创建线性模型。这是通过首先基于数据块创建线性模型，然后通过读取更多数据块（100 万行）并使用 'biglm' 中的 'update' 函数来更新模型来完成的。我的模型使用年份（具有 20 个水平的因子）、温度和一个名为 is_paid 的 1 或 0 因子变量。代码看起来像这样：
model = biglm(output~year:is_paid+temp,data = df) #creates my original model from a starting data frame, df
newdata = file[i] #This is just an example of me getting a new chunk of data in; don't worry about it
model = update(model,data = newdata) #this is where the update to the new model with the new data happens
问题是 is_paid 因子变量几乎总是 0。所以有时当我读入一大块数据时，is_paid 列中的每个值都将是 0，我显然收到以下错误：
Error in `contrasts<-`(`*tmp*`, value = contr.funs[1 + isOF[nn]]) :
contrasts can be applied only to factors with 2 or more levels
所以基本上，我需要一种方法让模型接受更新而不会因为在新数据块中没有两个不同的因素而生气。
我正在考虑的一种方法是始终让一行真实数据的 is_paid 值为“1”，并将其添加到新块中。这样一来，因素就不止一种了，我还在加真实的数据。代码看起来像这样：
#the variable 'line' is a single line of data that has a '1' for is_paid
newdata = file[i] #again, an example of me reading in a new chunk of data. I know that this doesn't make sense by itself
newdata = rbind(line,newdata) #add in the sample line with '1' in is_paid to newdata
model = update(model,newdata) #update the data
这是我的数据示例：
output year temp is_paid
1100518 12 40 0
2104518 12 29 0
1100200 15 17 0
1245110 16 18 0
5103128 14 30 0
这里是我的样本行的一个例子，它是一个真实的记录，其中 is_paid 是 1:
output year temp is_paid
31200599 12 49 1
在同一行中一遍又一遍地添加会扭曲我为我的变量获得的系数吗？我在一些虚拟代码上进行了测试，它看起来不像是用相同的记录反复更新模型会影响它，但我很怀疑。
我觉得有一种更优雅、更智能的方法可以做到这一点。我一直在阅读 R 教程，似乎有一种方法可以为 lm 模型设置对比度。我查看了 'lm' 中的 'contrasts' 参数，但没有找到任何答案。我不认为你可以在 biglm 中设置对比，这是我需要使用的。我非常感谢你们能想到的任何见解或解决方案。
*is_paid 的数值变量与因子变量的比较：
df.num = data.frame(a = c(1:10),b = as.factor(rep(c(1,2,3,4,5),each = 2)),c = c(rep(0,each = 5),rep(1,each = 5)))
df.factor = data.frame(a = c(1:10),b = as.factor(rep(c(1,2,3,4,5),each = 2)),c = as.factor(c(rep(0,each = 5),rep(1,each = 5))))
mod.factor = lm(a~b:c,data = df.factor)
mod.num = lm(a~b:c,data = df.num)
> mod.factor
Call:
lm(formula = a ~ b:c, data = df.factor)
Coefficients:
(Intercept) b1:c0 b2:c0 b3:c0 b4:c0 b5:c0 b1:c1
9.5 -8.0 -6.0 -4.5 NA NA NA
b2:c1 b3:c1 b4:c1 b5:c1
NA -3.5 -2.0 NA
Call:
lm(formula = a ~ b:c, data = df.num)
Coefficients:
(Intercept) b1:c b2:c b3:c b4:c b5:c
3.0 NA NA 3.0 4.5 6.5
这里的结论是，如果is_paid是数字，模型就变了。
**** 我还稍微修改了我的模型，改为查看两个因素的相互作用，而不仅仅是三个变量。这意味着我不能将 is_paid 视为数字（我认为）
将 Ben Bolker 的评论转化为答案，并提供一些更好的模拟数据的证据。
只需将您的两级因子视为连续即可。这和把它当作一个因素是一样的。
示例：
df.num = data.frame(a = rnorm(12),
b = as.factor(rep(1:4,each = 3)),
c = rep(0:1, 6))
df.factor = df.num
df.factor$c = factor(df.factor$c)
mod.factor = lm(a~b*c - 1,data = df.factor)
mod.num = lm(a~b*c - 1,data = df.num)
all(coef(mod.factor) == coef(mod.num))
# [1] TRUE
我正在使用大量数据（5000 万行）和 biglm 包创建线性模型。这是通过首先基于数据块创建线性模型，然后通过读取更多数据块（100 万行）并使用 'biglm' 中的 'update' 函数来更新模型来完成的。我的模型使用年份（具有 20 个水平的因子）、温度和一个名为 is_paid 的 1 或 0 因子变量。代码看起来像这样：
model = biglm(output~year:is_paid+temp,data = df) #creates my original model from a starting data frame, df
newdata = file[i] #This is just an example of me getting a new chunk of data in; don't worry about it
model = update(model,data = newdata) #this is where the update to the new model with the new data happens
问题是 is_paid 因子变量几乎总是 0。所以有时当我读入一大块数据时，is_paid 列中的每个值都将是 0，我显然收到以下错误：
Error in `contrasts<-`(`*tmp*`, value = contr.funs[1 + isOF[nn]]) :
contrasts can be applied only to factors with 2 or more levels
所以基本上，我需要一种方法让模型接受更新而不会因为在新数据块中没有两个不同的因素而生气。
我正在考虑的一种方法是始终让一行真实数据的 is_paid 值为“1”，并将其添加到新块中。这样一来，因素就不止一种了，我还在加真实的数据。代码看起来像这样：
#the variable 'line' is a single line of data that has a '1' for is_paid
newdata = file[i] #again, an example of me reading in a new chunk of data. I know that this doesn't make sense by itself
newdata = rbind(line,newdata) #add in the sample line with '1' in is_paid to newdata
model = update(model,newdata) #update the data
这是我的数据示例：
output year temp is_paid
1100518 12 40 0
2104518 12 29 0
1100200 15 17 0
1245110 16 18 0
5103128 14 30 0
这里是我的样本行的一个例子，它是一个真实的记录，其中 is_paid 是 1:
output year temp is_paid
31200599 12 49 1
在同一行中一遍又一遍地添加会扭曲我为我的变量获得的系数吗？我在一些虚拟代码上进行了测试，它看起来不像是用相同的记录反复更新模型会影响它，但我很怀疑。
我觉得有一种更优雅、更智能的方法可以做到这一点。我一直在阅读 R 教程，似乎有一种方法可以为 lm 模型设置对比度。我查看了 'lm' 中的 'contrasts' 参数，但没有找到任何答案。我不认为你可以在 biglm 中设置对比，这是我需要使用的。我非常感谢你们能想到的任何见解或解决方案。
*is_paid 的数值变量与因子变量的比较：
df.num = data.frame(a = c(1:10),b = as.factor(rep(c(1,2,3,4,5),each = 2)),c = c(rep(0,each = 5),rep(1,each = 5)))
df.factor = data.frame(a = c(1:10),b = as.factor(rep(c(1,2,3,4,5),each = 2)),c = as.factor(c(rep(0,each = 5),rep(1,each = 5))))
mod.factor = lm(a~b:c,data = df.factor)
mod.num = lm(a~b:c,data = df.num)
> mod.factor
Call:
lm(formula = a ~ b:c, data = df.factor)
Coefficients:
(Intercept) b1:c0 b2:c0 b3:c0 b4:c0 b5:c0 b1:c1
9.5 -8.0 -6.0 -4.5 NA NA NA
b2:c1 b3:c1 b4:c1 b5:c1
NA -3.5 -2.0 NA
Call:
lm(formula = a ~ b:c, data = df.num)
Coefficients:
(Intercept) b1:c b2:c b3:c b4:c b5:c
3.0 NA NA 3.0 4.5 6.5
这里的结论是，如果is_paid是数字，模型就变了。
**** 我还稍微修改了我的模型，改为查看两个因素的相互作用，而不仅仅是三个变量。这意味着我不能将 is_paid 视为数字（我认为）
将 Ben Bolker 的评论转化为答案，并提供一些更好的模拟数据的证据。
只需将您的两级因子视为连续即可。这和把它当作一个因素是一样的。
示例：
df.num = data.frame(a = rnorm(12),
b = as.factor(rep(1:4,each = 3)),
c = rep(0:1, 6))
df.factor = df.num
df.factor$c = factor(df.factor$c)
mod.factor = lm(a~b*c - 1,data = df.factor)
mod.num = lm(a~b*c - 1,data = df.num)
all(coef(mod.factor) == coef(mod.num))
# [1] TRUE