二元分类中的特征重要性和仅提取 类 之一的 SHAP 值
Feature importance in a binary classification and extracting SHAP values for one of the classes only
假设我们有一个二元分类问题，我们有两个 类 的 1 和 0 作为我们的目标。我的目标是使用树分类器在给定特征的情况下预测 1 和 0。此外，我可以使用 SHAP 值对预测 1 和 0 的特征重要性进行排序。到目前为止一切都很好！
现在假设我想知道仅预测 1 的特征的重要性，那里推荐的方法是什么？我可以将我的数据分成两部分（名义上：df_tot = df_zeros + df_ones）并在我的分类器中使用 df_ones，然后为此提取 SHAP 值，但是这样做目标只有 1s，所以模型确实如此并没有真正学会对任何东西进行分类。所以我想知道如何解决这样的问题？
让我们准备一些二进制class化数据：
from seaborn import load_dataset
from sklearn.model_selection import train_test_split
from lightgbm import LGBMClassifier
import shap
titanic = load_dataset("titanic")
X = titanic.drop(["survived","alive","adult_male","who",'deck'],1)
y = titanic["survived"]
features = X.columns
cat_features = []
for cat in X.select_dtypes(exclude="number"):
cat_features.append(cat)
# think about meaningful ordering instead
X[cat] = X[cat].astype("category").cat.codes.astype("category")
X_train, X_val, y_train, y_val = train_test_split(X,y,train_size=.8, random_state=42)
clf = LGBMClassifier(max_depth=3, n_estimators=1000, objective="binary")
clf.fit(X_train,y_train, eval_set=(X_val,y_val), early_stopping_rounds=100, verbose=100)
要回答您的问题，要在每个 class 的基础上提取 shap 值，可以通过 class 标签对它们进行子集化：
explainer = shap.TreeExplainer(clf)
shap_values = explainer.shap_values(X_train)
sv = np.array(shap_values)
y = clf.predict(X_train).astype("bool")
# shap values for survival
sv_survive = sv[:,y,:]
# shap values for dying
sv_die = sv[:,~y,:]
然而，一个更有趣的问题是您可以使用这些值做什么。
一般来说，通过查看 summary_plot（对于整个数据集）可以获得有价值的见解：
shap.summary_plot(shap_values[1], X_train.astype("float"))
Interpretation (globally):
- sex, pclass and age were most influential features in determining outcome
- being a male, less affluent, and older decreased chances of survival
可以提取出全球最有影响力的Top 3特征如下：
idx = np.abs(sv[1,:,:]).mean(0).argsort()
features[idx[:-4:-1]]
# Index(['sex', 'pclass', 'age'], dtype='object')
如果您想按 class 进行分析，您可以针对幸存者 (sv[1,y,:]) 单独执行此操作：
# top3 features for probability of survival
idx = sv[1,y,:].mean(0).argsort()
features[idx[:-4:-1]]
# Index(['sex', 'pclass', 'age'], dtype='object')
没有活下来的也一样(sv[0,~y,:]):
# top3 features for probability of dieing
idx = sv[0,~y,:].mean(0).argsort()
features[idx[:3]]
# Index(['alone', 'embark_town', 'parch'], dtype='object')
注意，我们在这里使用平均形状值，表示我们对幸存者的最大值和非幸存者的最低值感兴趣（最低值，接近于 0，也可能意味着没有完全是恒定的、单向的影响)。在 abs 上使用均值可能也有意义，但无论方向如何，解释将是最有影响力的。
要做出明智的选择，无论是喜欢手段还是 abs 手段，都必须了解以下事实：
- shap values could be both positive and negative
- shap values are symmetrical, and increasing/decreasing probability of one class decreases/increases probability of the other by the same amount (due to p₁ = 1 - p₀)
证明：
#shap values
sv = np.array(shap_values)
#base values
ev = np.array(explainer.expected_value)
sv_died, sv_survived = sv[:,0,:] # + constant
print(sv_died, sv_survived, sep="\n")
# [-0.73585563 1.24520748 0.70440429 -0.15443337 -0.01855845 -0.08430467 0.02916375 -0.04846619 0. -0.01035171]
# [ 0.73585563 -1.24520748 -0.70440429 0.15443337 0.01855845 0.08430467 -0.02916375 0.04846619 0. 0.01035171]
很可能您会发现性别和年龄对幸存者和其他幸存者都起着最有影响的作用；因此，与其根据 class 分析最具影响力的特征，更有趣的是看看是什么让两名性别和年龄相同的乘客幸存下来，而另一名则没有（提示：在数据集中找到这样的案例，喂养一个作为背景，并分析另一个的 shap 值，或者，尝试分析一个 class 与另一个作为背景）。
您可以使用 dependence_plot 进行进一步分析（在全局或每个 class 基础上）：
shap.dependence_plot("sex", shap_values[1], X_train)
Interpretation (globally):
- males had lower probability of survival (lower shap values)
- pclass (affluence) was the next most influential factor: higher pclass (less affluence) decreased chance of survival for female and vice versa for males
假设我们有一个二元分类问题，我们有两个 类 的 1 和 0 作为我们的目标。我的目标是使用树分类器在给定特征的情况下预测 1 和 0。此外，我可以使用 SHAP 值对预测 1 和 0 的特征重要性进行排序。到目前为止一切都很好！
现在假设我想知道仅预测 1 的特征的重要性，那里推荐的方法是什么？我可以将我的数据分成两部分（名义上：df_tot = df_zeros + df_ones）并在我的分类器中使用 df_ones，然后为此提取 SHAP 值，但是这样做目标只有 1s，所以模型确实如此并没有真正学会对任何东西进行分类。所以我想知道如何解决这样的问题？
让我们准备一些二进制class化数据：
from seaborn import load_dataset
from sklearn.model_selection import train_test_split
from lightgbm import LGBMClassifier
import shap
titanic = load_dataset("titanic")
X = titanic.drop(["survived","alive","adult_male","who",'deck'],1)
y = titanic["survived"]
features = X.columns
cat_features = []
for cat in X.select_dtypes(exclude="number"):
cat_features.append(cat)
# think about meaningful ordering instead
X[cat] = X[cat].astype("category").cat.codes.astype("category")
X_train, X_val, y_train, y_val = train_test_split(X,y,train_size=.8, random_state=42)
clf = LGBMClassifier(max_depth=3, n_estimators=1000, objective="binary")
clf.fit(X_train,y_train, eval_set=(X_val,y_val), early_stopping_rounds=100, verbose=100)
要回答您的问题，要在每个 class 的基础上提取 shap 值，可以通过 class 标签对它们进行子集化：
explainer = shap.TreeExplainer(clf)
shap_values = explainer.shap_values(X_train)
sv = np.array(shap_values)
y = clf.predict(X_train).astype("bool")
# shap values for survival
sv_survive = sv[:,y,:]
# shap values for dying
sv_die = sv[:,~y,:]
然而，一个更有趣的问题是您可以使用这些值做什么。
一般来说，通过查看 summary_plot（对于整个数据集）可以获得有价值的见解：
shap.summary_plot(shap_values[1], X_train.astype("float"))
Interpretation (globally):
- sex, pclass and age were most influential features in determining outcome
- being a male, less affluent, and older decreased chances of survival
可以提取出全球最有影响力的Top 3特征如下：
idx = np.abs(sv[1,:,:]).mean(0).argsort()
features[idx[:-4:-1]]
# Index(['sex', 'pclass', 'age'], dtype='object')
如果您想按 class 进行分析，您可以针对幸存者 (sv[1,y,:]) 单独执行此操作：
# top3 features for probability of survival
idx = sv[1,y,:].mean(0).argsort()
features[idx[:-4:-1]]
# Index(['sex', 'pclass', 'age'], dtype='object')
没有活下来的也一样(sv[0,~y,:]):
# top3 features for probability of dieing
idx = sv[0,~y,:].mean(0).argsort()
features[idx[:3]]
# Index(['alone', 'embark_town', 'parch'], dtype='object')
注意，我们在这里使用平均形状值，表示我们对幸存者的最大值和非幸存者的最低值感兴趣（最低值，接近于 0，也可能意味着没有完全是恒定的、单向的影响)。在 abs 上使用均值可能也有意义，但无论方向如何，解释将是最有影响力的。
要做出明智的选择，无论是喜欢手段还是 abs 手段，都必须了解以下事实：
- shap values could be both positive and negative
- shap values are symmetrical, and increasing/decreasing probability of one class decreases/increases probability of the other by the same amount (due to p₁ = 1 - p₀)
证明：
#shap values
sv = np.array(shap_values)
#base values
ev = np.array(explainer.expected_value)
sv_died, sv_survived = sv[:,0,:] # + constant
print(sv_died, sv_survived, sep="\n")
# [-0.73585563 1.24520748 0.70440429 -0.15443337 -0.01855845 -0.08430467 0.02916375 -0.04846619 0. -0.01035171]
# [ 0.73585563 -1.24520748 -0.70440429 0.15443337 0.01855845 0.08430467 -0.02916375 0.04846619 0. 0.01035171]
很可能您会发现性别和年龄对幸存者和其他幸存者都起着最有影响的作用；因此，与其根据 class 分析最具影响力的特征，更有趣的是看看是什么让两名性别和年龄相同的乘客幸存下来，而另一名则没有（提示：在数据集中找到这样的案例，喂养一个作为背景，并分析另一个的 shap 值，或者，尝试分析一个 class 与另一个作为背景）。
您可以使用 dependence_plot 进行进一步分析（在全局或每个 class 基础上）：
shap.dependence_plot("sex", shap_values[1], X_train)
Interpretation (globally):
- males had lower probability of survival (lower shap values)
- pclass (affluence) was the next most influential factor: higher pclass (less affluence) decreased chance of survival for female and vice versa for males