为线性回归预测的非常大的值

Question

我正在尝试运行在 python 中进行线性回归以确定具有许多特征的房价。其中一些是数字，一些是非数字。我正在尝试对非数字列进行一种热编码，并将新的数字列附加到旧数据框并删除非数字列。这是在训练数据和测试数据上完成的。

然后我取了两列特征的交集（因为我有一些仅位于测试数据中的编码）。之后，它进入线性回归。代码如下：

non_numeric = list(set(list(train)) - set(list(train._get_numeric_data())))
train = pandas.concat([train, pandas.get_dummies(train[non_numeric])], axis=1)
train.drop(non_numeric, axis=1, inplace=True)

train = train._get_numeric_data()
train.fillna(0, inplace = True)

non_numeric = list(set(list(test)) - set(list(test._get_numeric_data())))
test = pandas.concat([test, pandas.get_dummies(test[non_numeric])], axis=1)
test.drop(non_numeric, axis=1, inplace=True)

test = test._get_numeric_data()
test.fillna(0, inplace = True)

feature_columns = list(set(train) & set(test))
#feature_columns.remove('SalePrice')
X = train[feature_columns]
y = train['SalePrice']

lm = LinearRegression(normalize = False)
lm.fit(X, y)

import numpy
predictions = numpy.absolute(lm.predict(test).round(decimals = 2))

我遇到的问题是，我将这些高得离谱的销售价格作为输出，大约有数亿美元。在我尝试一种热门编码之前，我得到了数十万美元的合理数字。我无法弄清楚发生了什么变化。

另外，如果有更好的方法来做到这一点，我很想知道。

Answer 1

由于在特征列中引入分类变量，您似乎遇到了共线性，因为 "one-hot" 编码变量的特征列之和始终为 1。

如果你有一个分类变量，你需要在你的线性回归中设置"fit_intercept=False"（或删除one-hot编码变量的特征列之一）

如果您有多个分类变量，则需要为每个类别删除一个特征列以打破共线性。

from sklearn.linear_model import LinearRegression
import numpy as np
import pandas as pd
In [72]:

df = pd.read_csv('/home/siva/anaconda3/data.csv')
df
Out[72]:
C1  C2  C3  y
0   1   0   0   12.4
1   1   0   0   11.9
2   0   1   0   8.3
3   0   1   0   3.1
4   0   0   1   5.4
5   0   0   1   6.2
In [73]:

y
X = df.iloc[:,0:3]
y = df.iloc[:,-1]
In [74]:

reg = LinearRegression()
reg.fit(X,y)
Out[74]:
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)
In [75]:

_
reg.coef_,reg.intercept_
Out[75]:
(array([ 4.26666667, -2.18333333, -2.08333333]), 7.8833333333333346)
we find that co_efficients for C1, C2 , C3 do not make sense according to given X.
In [76]:

reg1 = LinearRegression(fit_intercept=False)
reg1.fit(X,y)
Out[76]:
LinearRegression(copy_X=True, fit_intercept=False, n_jobs=1, normalize=False)
In [77]:

reg1.coef_
Out[77]:
array([ 12.15,   5.7 ,   5.8 ])
we find that co_efficients makes much more sense when the fit_intercept was set to False

类似问题的详细解释如下。

https://stats.stackexchange.com/questions/224051/one-hot-vs-dummy-encoding-in-scikit-learn

Answer 2

我在 stats 网站上发布了这个，Ami Tavory 指出 get_dummies 在合并的 train 和 test 数据帧上应该是运行确保在两个数据框中设置相同的虚拟变量。这解决了问题。

为线性回归预测的非常大的值

Very Large Values Predicted for Linear Regression

python

regression

scikit-learn