如何将实体主键映射到 Spark ML 预测?

How to map entity primary key to Spark ML predictions?

我训练了一个 Spark ML 模型,用它对我的坚持数据集进行了评分,现在需要查找特定实体的预测。

我怎样才能知道哪个预测是针对谁的?有没有一种方法可以将实体主键(例如 Member_ID)添加到我的预测输出中?

更具体地说:为了对数据集进行评分,我使用了: predictions = trained_model.transform(holdout_data)

它生成一个包含以下列的数据框:"features"、"label"、"prediction" (标签是响应变量)

如何找到每个预测对应的Member_ID?

holdout_data 是否仅包含以下列:["features", "label"]?如果是这样,则将 Member_ID 添加到其中。

pyspark.ml 模型的 .transform() 方法 添加 额外列 predictionholdout_data,所以如果 Member_ID 是从那里开始的,然后问题就解决了。