Spark（pyspark）中的决策树模型如何可视化？

Question

我正在尝试在 pyspark 中可视化决策树结构。但是所有的工具都是为了数据。我找不到任何可视化树结构的​​东西。或者有没有一种方法可以使用 toDebugString?

中的规则进行可视化

Answer 1

我已尝试执行以下操作以创建可视化：

1. 将 Spark 决策树输出解析为 JSON 格式。
2. 使用 JSON 文件作为 D3.js 可视化的输入。

有关更多代码，您可以参考我的原型 GitHub here。

Answer 2

我也是一名 bigdata/ml 工程师，我有很多时间需要可视化 Spark 中的决策树。

我们刚刚发布了 dtreeviz 1.1，其中包括对 Spark 的支持。 您现在可以可视化树结构、叶子信息、预测路径等。请查看此 notebook 以获取更多示例。