Azure Web 应用程序与数据湖的集成

Question

我正在创建一个 python 网络作业，它运行脚本以将数据湖中存储的 excel 数据转换为 csv。脚本如下：

import pandas as pd

df = pd.read_excel('path/excel file in data lake', 'sheet1',header=0)

df.to_csv('path/empty csv file in DL', encoding='utf-8')

上面的代码给出了 OS 错误：-

OSError: [Errno 22] Invalid argument: 'adl://DLstorename.azuredatalakestore.net/filename.xlsx'

谁能建议我应该如何将我的网络作业与数据湖连接起来，以便它识别文件路径？

Answer 1

Pandas 无法直接使用 Azure Data Lake Store。相反，请尝试使用 ADLS python 模块连接到 ADLS 以获取文档，一旦您在 pandas 中完成它，请再次使用它来保存它。

http://azure-datalake-store.readthedocs.io/en/latest/

希望对您有所帮助！

Answer 2

正如 Anna 在上面的回答中提到的，我使用带有 python 的 azure 数据湖库连接到我的数据湖存储。

我使用 KUDU 服务的 cmd 控制台为 webjob 安装了这个库（在 webapp 的高级工具中的开发工具部分下可用）并做了以下更改：

import pandas as pd

df = pd.read_excel(adl.open('folder name/excel file name in data lake'),'sheet1',header=0)

df.to_csv('folder name/empty csv file name in DL', encoding='utf-8')

成功了！