无法从 azure databricks 读取文件

Question

我是运行这个命令，用于从普通集群（未安装 hadoop）的 Azure databricks 读取数据。

spark-submit --packages io.delta:delta-core_2.12:0.7.0 \
  --conf "spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension" \
  --conf "spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog" \
  --conf "spark.delta.logStore.class=org.apache.spark.sql.delta.storage.HDFSLogStore" \
  Test_write_to_DL.py

我遇到了这个错误

: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.azurebfs.SecureAzureBlobFileSystem not found
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2595)
    at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:3269)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3301)
    at org.apache.hadoop.fs.FileSystem.access0(FileSystem.java:124)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3352)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3320)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:479)
    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:361)
    at org.apache.spark.sql.delta.DeltaTableUtils$.findDeltaTableRoot(DeltaTable.scala:163)
    at org.apache.spark.sql.delta.sources.DeltaDataSource$.parsePathIdentifier(DeltaDataSource.scala:259)

你能建议我需要安装什么 jar 才能让它工作吗

Answer 1

有关详细信息，请参阅增量 documentation：

首先，您需要使用 org.apache.spark.sql.delta.storage.AzureLogStore

org.apache.spark.sql.delta.storage.HDFSLogStore

您需要将 hadoop-azure 包 (maven coordinates) 包含到 --packages
您还需要提供凭证等

无法从 azure databricks 读取文件

Cannot read file from azure databricks

azure

databricks

delta-lake