如何导出完整结果 Databricks Azure
How export full result Databricks Azure
我正在使用命令 "display" 通过完整下载结果选项手动从数据块中导出数据
示例
display (predictions.select ("productid", "prediction"))
不过才returns1,000,000，我还有很多记录。 DataBricks 是否对导出完整结果有任何限制？
我怎样才能下载我的所有结果？
是的，databricks 仅显示有限的数据帧。它允许您像 csv 一样下载数据，但我想它也有限制。您可以将数据框另存为 table 在 databricks 数据库中：
predictions.select("productid", "prediction").write.saveAsTable("predictions")
然后你可以加载它：
predictions = spark.table('predictions')
我正在使用命令 "display" 通过完整下载结果选项手动从数据块中导出数据 示例
display (predictions.select ("productid", "prediction"))
不过才returns1,000,000，我还有很多记录。 DataBricks 是否对导出完整结果有任何限制？
我怎样才能下载我的所有结果？
是的，databricks 仅显示有限的数据帧。它允许您像 csv 一样下载数据，但我想它也有限制。您可以将数据框另存为 table 在 databricks 数据库中：
predictions.select("productid", "prediction").write.saveAsTable("predictions")
然后你可以加载它：
predictions = spark.table('predictions')