在 Azure 中自动执行 Jupyter notebook

Automating the execution of a Jupyter notebook in Azure

我在 Jupyter notebook 中有一个脚本,它为提供的数据集创建交互式图表。然后,我将输出转换为没有输入的 HTML 文件,以便为该数据集创建报告以与我的同事共享。 我还使用 papermill 对过程进行参数化,我将文件的名称发送给它,它会为我创建一个报告。所有数据集都存储在 Azure 数据湖中。

现在,当我在我的本地机器上做这一切时,一切都非常容易,但我想自动化这个过程,每小时为新传入的数据集生成报告,并将 HTML 输出存储在 azure 中datalake,我想运行在云上实现这个自动化。

我最初是使用自动化帐户开始的,但我不知道如何在自动化帐户中执行 jupyter notebook,也不知道将我的 .ipynb 文件存储在哪里。我还查看了 azure cloud 上的 jupyter hub 服务器 (VM),但我也无法理解如何使其自动化。

任何人都可以帮助我以尽可能便宜的方式在 Azure 云上自动化整个过程,因为我必须生成大量报告。

谢谢!

除了自动化之外,您还可以使用 Azure Functions,如 document:

中所述

· 要 运行 PowerShell-based Jupyter Notebook,您可以在 Azure 函数中使用 PowerShell 来调用 Invoke-ExecuteNotebook cmdlet. This is similar to the technique described above for Automation jobs. For more information, see Azure Functions PowerShell developer guide.

· 要 运行 SQL-based Jupyter Notebook,您可以在 Azure 函数中使用 PowerShell 来调用 Invoke-SqlNotebook cmdlet. For more information, see Azure Functions PowerShell developer guide.

· 要运行 Python-based Jupyter Notebook,您可以在Azure 函数中使用Python 来调用papermill。有关详细信息,请参阅 Azure Functions Python developer guide

参考文献:Run Jupyter Notebook on the Cloud in 15 mins #Azure | by Anish Mahapatra | Towards Data Science, and