从 Azure 数据块连接到 Azure table 存储

Question

我正在尝试从 Databricks 连接到 Azure table 存储。我似乎找不到任何不进入 blob 容器的资源，但我已尝试将其修改为 tables。

spark.conf.set(
  "fs.azure.account.key.accountname.table.core.windows.net",
  "accountkey")

blobDirectPath = "wasbs://accountname.table.core.windows.net/TableName"

df = spark.read.parquet(blobDirectPath)

我现在假设 tables 是镶木地板文件。我现在收到此代码的身份验证错误。

Answer 1

根据我的研究，Azure Databricks 不支持 Azure table 存储的数据源。更多详情，请参考https://docs.azuredatabricks.net/spark/latest/data-sources/index.html。

此外，如果您仍想使用 table 存储，则可以使用 Azure Cosmos DB Table API。但它们有一些不同之处。详情请参考https://docs.microsoft.com/en-us/azure/cosmos-db/faq#where-is-table-api-not-identical-with-azure-table-storage-behavior.

从 Azure 数据块连接到 Azure table 存储

Connectiong to Azure table storage from Azure databricks

python

azure-table-storage

pyspark

azure-databricks