'DataFrame' 对象没有属性 'to_delta'

Question

我的代码曾经有效。为什么我的代码不再有效？我更新到较新的 Databricks 运行时 10.2，因此我不得不更改一些早期代码以在 pyspark 上使用 pandas。

# Drop customer ID for AutoML
automlDF = churn_features_df.drop(key_id)

# Write out silver-level data to autoML Delta lake
automlDF.to_delta(mode='overwrite', path=automl_silver_tbl_path)

我收到的错误是 'DataFrame' object has no attribute 'to_delta'

Answer 1

我能够使用 to_pandas_on_spark() 使其按预期工作。我的工作代码如下所示：

# Drop customer ID for AutoML
automlDF = churn_features_df.drop(key_id).to_pandas_on_spark()

# Write out silver-level data to autoML Delta lake
automlDF.to_delta(mode='overwrite', path=automl_silver_tbl_path)