使用 LinearRegression Python 进行递归特征消除

Question

所以我正在做一个项目，该项目使用 RFECV 进行特征选择，然后对所选变量进行岭回归。

数据集的结构方式我有一个 train_y = 因变量，train_x = 数据框中的所有其他内容（变量在其他模型中都很好）。

这是我使用的代码：

# Variable Selection with RFECV
lr = LinearRegression()
rfecv = RFECV(estimator = lr, step = 1, cv=StratifiedKFold(train_y, 2), scoring='r2')
selector = rfecv.fit(train_x, train_y)
train_X_new = selector.transform(train_x)
train_Y_new = selector.transform(train_y)

param_grid = {'alpha': sp_rand()}
# create and fit a ridge regression model, testing random alpha values
model = Ridge()
rsearch = RandomizedSearchCV(estimator=model, param_distributions=param_grid, n_iter=100)
rsearch.fit(train_X_new, train_Y_new)
expected = train_X_new
predicted = model.predict(train_Y_new)
# summarize the fit of the model
mse = np.mean((predicted-expected)**2)
print "MSE and Model Score: "
print(mse)
print(model.score(train_X_new, train_Y_new))

这一行的代码错误：

train_Y_new = selector.transform(train_y)

with "ValueError: X has a different shape than during fitting." 不知道是什么导致了错误。

任何 help/insight 不胜感激！

谢谢！

Answer 1

transform方法用于"Reduce X to the selected features."这个方法的目的是创建一个新的X，它只包含与拟合相关的变量。

你收到一个错误，因为转换只需要形状与它所适合的 X 相匹配的输入。 Y 没有正确的形状，也不应该。

你的目标变量 Y 应该没有变化。对 Y 调用转换没有意义，因为消除特征只意味着改变 X。

使用 LinearRegression Python 进行递归特征消除

Recursive Feature Elimination with LinearRegression Python

python

recursion

linear-regression

scikit-learn