如何使用 Python delta-rs 从 Azure Blob 存储中读取

Question

我想使用 Python 绑定到 delta-rs 从我的 blob 存储中读取。 https://github.com/delta-io/delta-rs/tree/main/python

目前我有点迷茫，因为我不知道如何在我的本地机器上配置文件系统。我必须将凭据放在哪里？

我可以为此使用 adlfs 吗？

from adlfs import AzureBlobFileSystem
    
fs = AzureBlobFileSystem(
        account_name="...", 
        account_key='...'
    )

然后使用fs对象？

如果有人能在这里为我提供一些先机，那将非常有帮助。

最佳

Answer 1

遗憾的是，目前我们没有关于此的优秀文档。您应该能够将 AZURE_STORAGE_ACCOUNT 和 AZURE_STORAGE_SAS 环境变量设置为 la this integration test.

这将确保 Python 绑定可以访问 table 元数据，但通常获取查询数据是通过 Pandas 完成的，我不确定 Pandas 也将处理这些变量（我自己不是 ADLSv2 用户）..

How to read from Azure Blob Storage with Python delta-rs