在 azure databricks 上将 spark dataframe 转换为 Delta table - 警告

Question

我正在将我的 spark 数据框保存在 azure databricks 上并创建 delta lake table。

它工作正常，但是我在执行时收到此警告消息。

问题 - 为什么我仍然收到此消息，即使我的 table 是 delta table。我的方法有什么问题，非常感谢任何意见。

警告消息

This query contains a highly selective filter. To improve the performance of queries, convert the table to Delta and run the OPTIMIZE ZORDER BY command on the table

代码

dfMerged.write\
              .partitionBy("Date")\
              .mode("append")\
              .format("delta")\
              .option("overwriteSchema", "true")\
              .save("/mnt/path..")

spark.sql("CREATE TABLE DeltaUDTable USING DELTA LOCATION '/mnt/path..'")

更多细节

我已将 azure storage gen 2 安装到安装位置上方。
databricks 运行时 - 6.4（包括 Apache Spark 2.4.5、Scala 2.11）

Answer 1

警告消息显然具有误导性，因为您已经有了 Delta 选项。忽略它。

在 azure databricks 上将 spark dataframe 转换为 Delta table - 警告

Convert spark dataframe to Delta table on azure databricks - warning

azure-databricks

delta-lake