在留一法交叉验证中,如何使用“shap.Explainer()”函数来解释机器学习模型?

In Leave One Out Cross Validation, How can I Use `shap.Explainer()` Function to Explain a Machine Learning Model?

问题背景

我想使用在 Python 的 shap 库中实现的 SHapley Additive exPlanations (SHAP) 来解释机器学习 (ML) 模型的结果。作为函数 shap.Explainer() 的参数,我需要传递一个 ML 模型(例如 XGBRegressor())。然而,在留一法交叉验证 (LOOCV) 的每次迭代中,ML 模型都会不同,因为在每次迭代中,我在不同的数据集上进行训练(1 个参与者的数据将不同)。此外,模型会有所不同,因为我在每次迭代中进行特征选择。

那么,我的问题

在LOOCV中,如何使用shap库的shap.Explainer()函数来呈现机器学习模型的性能?可以注意到,我已经检查了SO的几个教程(例如this one, this one) and also several questions (e.g. this one)。但是我没能找到问题的答案。

感谢阅读!


更新

我知道在LOOCV中,每次迭代找到的模型都可以用shap.Explainer()来解释。但是,由于有 250 个参与者的数据,如果我在这里为每个模型应用 shap,将会有 250 个输出!因此,我想得到一个单一的输出来展示 250 个模型的性能。

您似乎在 LOOCV 的同时在 250 个数据点上训练模型。这是关于选择一个具有超参数的模型,以确保最佳的泛化能力。

模型解释与训练不同,因为您不会筛选不同的超参数集——请注意,250 LOOCV 已经过大了。你会用 250'000 行来做吗? -- 您更愿意 尝试 了解哪些功能会影响输出的方向和程度。

训练有其自身的局限性(数据的可用性,如果新数据类似于训练模型的数据,如果模型足够好以获取数据的特性并很好地概括等),但不要高估解释锻炼。这仍然是尝试 了解输入如何影响输出。您可能愿意对 SHAP 值的 250 个不同矩阵进行平均。但是您是否期望结果与单个 random train/test 拆分有很大不同?

另请注意:

However, in each iteration of the Leave One Out Cross Validation (LOOCV), the ML model will be different as in each iteration, I am training on a different dataset (1 participant’s data will be different).

LOOCV的每次迭代中,模型仍然相同(相同的特征,超参数可能不同,具体取决于您对iteration的定义)。它仍然是相同的数据集(相同的特征)

Also, the model will be different as I am doing feature selection in each iteration.

没关系。将生成的模型提供给 SHAP 解释器,你会得到你想要的。