如何使用 XGB 反转 TargetEncoder post-training 以获得特征重要性？

Question

我对数据集中的所有分类、名义特征都使用了 TargetEncoder。将 df 拆分为训练和测试后，我在数据集上拟合了一个 XGB。

训练模型后，我希望绘制特征重要性，但是，特征以“编码”状态显示。我怎样才能反转特征，以便重要性图是可解释的？

import category_encoders as ce
encoder=ce.TargetEncoder(cols=X.select_dtypes(['object']).columns) 
encoder.fit_transform(X,y)

model = XGBClassifier(use_label_encoder=False)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y_closed)
model.fit(X_train, y_train)

%matplotlib inline
import matplotlib.pyplot as plt
N_FEATURES = 10
importances = model.feature_importances_
indices = np.argsort(importances)[-N_FEATURES:]

plt.title('Feature Importances')
plt.xlabel('Relative Importance')
plt.show()

Answer 1

如 documentation 中所述：您可以使用 get_feature_names() 获得 return 编码的 column/feature 名称，然后删除原始特征名称。

此外，您需要对目标特征 (y) 进行编码吗？

在下面的示例中，我假设您只需要编码与 X_train 数据集中的 'object' 数据类型相对应的特征。

最后，最好先将数据集拆分为训练和测试，然后在训练集上执行 fit_transform，在测试集上仅执行 fit。这样可以防止泄漏。

object_col = X_train.select_dtypes(['object']).columns
encoder = ce.TargetEncoder(cols = object_col) 
df_enc = encoder.fit_transform(X_train)
df_enc.columns = encoder.get_feature_names()
X_train.drop(object_col, axis = 1, inplace = True)
df_final = pd.concat([X_train, df_enc], axis = 1)

如何使用 XGB 反转 TargetEncoder post-training 以获得特征重要性？

How to inverse TargetEncoder post-training with XGB for Feature Importance?

python

encoder

machine-learning

scikit-learn

xgboost