spark2.xx 是否支持三角洲湖
Is delta lake supported by spark2.xx
所以我尝试使用 delta lake write df_concat.write.format("delta").mode("overwrite").save("file") it gives me this error :
java.lang.NoClassDefFoundError: org/apache/spark/sql/connector/catalog/TableProvider
delta lake doc 说更新到 spark3 所以只想确认我们是否可以 运行 deltalake on spark2.xx
您可以使用 Delta release 0.6.1 - 支持 Spark 2.x 的最新版本。您至少需要 Spark 2.4.2 才能 运行 它。只需 运行 您的代码 --packages io.delta:delta-core_2.11:0.6.1，或 link 将其发送给应用程序
所以我尝试使用 delta lake write df_concat.write.format("delta").mode("overwrite").save("file") it gives me this error :
java.lang.NoClassDefFoundError: org/apache/spark/sql/connector/catalog/TableProvider
delta lake doc 说更新到 spark3 所以只想确认我们是否可以 运行 deltalake on spark2.xx
您可以使用 Delta release 0.6.1 - 支持 Spark 2.x 的最新版本。您至少需要 Spark 2.4.2 才能 运行 它。只需 运行 您的代码 --packages io.delta:delta-core_2.11:0.6.1，或 link 将其发送给应用程序