是否可以将经过训练的 Spark ML 模型或交叉验证器保存到 postgres 数据库?

Is it possible to save a trained Spark ML model or crossvalidator to postgree database?

是否可以将经过训练的 Spark ML 模型或交叉验证器保存到 postgres 数据库中?我可以找到将它保存到磁盘或 HDFS 的方法,但我们可以将它保存在 RDBMS 中吗(例如 Postgres)table ?

总的来说不是。 ML 模型使用特定结构,Parquet 文件存储模型、元数据和可选数据。可以创建可以在关系数据库中存储相同数据的包装器,但目前 Spark 中没有这样的功能。

对于某些模型子集,您可以:

  • 使用 Java 序列化序列化模型。
  • 将保存的模型存储为大对象。

这仅限于非分布式模型。