Databricks DataLakeFileClient Returns 错误

Question

我有一个数据块笔记本运行每 5 分钟一次，部分功能是连接到 Azure Data Lake Storage Gen2 (ADLS Gen2) 中的文件。

我在代码中收到以下错误，但它似乎是“突然冒出来的”，因为该过程之前运行良好。 “文件=”部分是我写的，所有参数都符合预期并匹配正确的文件names/containers并且确实存在于数据湖中。

---> 92     file = DataLakeFileClient.from_connection_string("DefaultEndpointsProtocol=https;AccountName="+storage_account_name+";AccountKey=" + storage_account_access_key, 
     93                                                    file_system_name=azure_container, file_path=location_to_write)
     94 

/databricks/python/lib/python3.8/site-packages/azure/storage/filedatalake/_data_lake_file_client.py in from_connection_string(cls, conn_str, file_system_name, file_path, credential, **kwargs)
    116         :rtype ~azure.storage.filedatalake.DataLakeFileClient
    117         """
--> 118         account_url, _, credential = parse_connection_str(conn_str, credential, 'dfs')
    119         return cls(
    120             account_url, file_system_name=file_system_name, file_path=file_path,

/databricks/python/lib/python3.8/site-packages/azure/storage/filedatalake/_shared/base_client.py in parse_connection_str(conn_str, credential, service)
    402     if service == "dfs":
    403         primary = primary.replace(".blob.", ".dfs.")
--> 404         secondary = secondary.replace(".blob.", ".dfs.")
    405     return primary, secondary, credential

有thoughts/help吗？实际错误在 base_client.py 代码中，但我什至不知道“辅助”应该是什么以及为什么那里会出现错误。

Answer 1

出于某种原因，在重新启动集群后，发生了一些变化，需要以下“端点后缀”才能继续工作，找不到任何文档说明为什么没有它它会工作，但直到几天以前，它一直有效：

"DefaultEndpointsProtocol=https;AccountName="+storage_account_name+";AccountKey="+storage_account_access_key+";EndpointSuffix=core.windows.net"

Databricks DataLakeFileClient Returns 错误

Databricks DataLakeFileClient Returns Error

azure

azure-data-lake

databricks