Databricks 将结果截断为 1000 列

Question

我一直在尝试 printSchema() Dataframe 中的 Databricks。 Dataframe 有超过 1500 列，显然 Databricks 正在截断结果并仅显示 1000 个项目。如何输出超过1000行？

Answer 1

这个限制不是行数，而是输出的大小——如果我没记错的话，是 64k。

Databricks 还会在创建时显示 Dataframe 的架构 - 单击保存数据框的变量名称旁边的图标（它仍然应限制为最大输出大小 - 我能够看到 table 架构，最多 1900 列）：

如果你的输出超过限制，那么我会想象将模式输出到文件中，使用类似这样的东西，然后用一些编辑器打开文件：

v = df._jdf.schema().treeString()
with open("/dbfs/mnt/.....", "w") as file:
  file.write(v)

Databricks truncating results to 1000 columns