如何获取 statsmodels / patsy 公式所依赖的列？

Question

假设我有一个 pandas 数据框：

df = pd.DataFrame({'x1': [0, 1, 2, 3, 4], 
                   'x2': [10, 9, 8, 7, 6], 
                   'x3': [.1, .1, .2, 4, 8], 
                   'y': [17, 18, 19, 20, 21]})

现在我使用公式拟合 statsmodels 模型（在幕后使用 patsy）：

import statsmodels.formula.api as smf
fit = smf.ols(formula='y ~ x1:x2', data=df).fit()

我想要的是 fit 所依赖的 df 的列列表，以便我可以在另一个数据集上使用 fit.predict()。例如，如果我尝试 list(fit.params.index)，我会得到：

['Intercept', 'x1:x2']

我已经尝试重新创建 patsy 设计矩阵，并使用 design_info，但我仍然只能得到 x1:x2。我想要的是：

['x1', 'x2']

甚至：

['Intercept', 'x1', 'x2']

我怎样才能从 fit 对象中得到这个？

Answer 1

predict 采用相同的数据框或字典结构，调用 patsy 以兼容的方式对其进行转换。要复制这个你也可以检查statsmodels.base.model.Results.predict中的代码，其核心是

exog = dmatrix(self.model.data.design_info.builder,
                           exog, return_type="dataframe")

公式信息本身存储在design_info中terms的描述中。变量名称本身在 summary() 中使用，并作为返回的 pandas 系列中的索引，例如在 results.params.

中

Answer 2

简单测试列名是否出现在公式的字符串表示中：

ols = smf.ols(formula='y ~ x1:x2', data=df)
fit = ols.fit()

print([c for c in df.columns if c in ols.formula])
['x1', 'x2', 'y']

还有一种方法是重建 patsy 模型（更冗长，但也更可靠），它不依赖于原始数据框：

md = patsy.ModelDesc.from_formula(ols.formula)
termlist = md.rhs_termlist + md.lhs_termlist

factors = []
for term in termlist:
    for factor in term.factors:
        factors.append(factor.name())

print(factors)
['x1', 'x2', 'y']

Answer 3

ols.exog_names 和 ols.endog_names 应该这样做

如何获取 statsmodels / patsy 公式所依赖的列？

How do I get the columns that a statsmodels / patsy formula depends on?

python

pandas

statsmodels

patsy