无法启动 Azure Databricks 集群

Cannot start Azure Databricks cluster

我是 MS Azure 的新手。我正在尝试下载 Microsoft Academic Graph 进行各种分析,但他们不提供 bulk-downloading 结构化数据集。 openacademicgraph 等外部资源并不是很有用,所以我想我可以尝试通过 Azure 下载数据。

幸运的是,有这方面的手册 - "Get Microsoft Academic Graph on Azure storage - docs.microsoft.com/en-us/academic-services/graph/get-started-setup-provisioning"。

我按照手册中的步骤为 MAG 创建了一个 Azure 帐户,收到一封来自 Academic Knowledge 的电子邮件 API -


欢迎使用 Microsoft Academic Graph (MAG) Azure 存储 (AS) 分发预览版。请注意,此发行版处于免费预览阶段。定价结构可能会发生变化。

您的 Azure 存储已成功设置为通过 Azure 数据工厂接收 MAG 更新。每个 MAG 数据集都提供给一个名为 "mag-yyyy-mm-dd" 的单独容器。 2020-02-14 数据集已推送到您的 Azure 存储。

由于MAG附带ODC-BY许可,您有权根据开放数据许可的条款增加价值并重新分配衍生品,例如归属于MAG您的产品、服务或社区活动。

MAG 的每个快照都将作为不同的容器显示在您的 Azure 存储中。在 Microsoft Academic Graph 文档中,你可以找到一个示例,用于使用 Azure Databricks 从 MAG 中为你的应用程序提取知识。还有一个示例使用 U-SQL,它是 Azure Data Lake Analytic Framework 的成员。

我们还整理了用于 WWW 会议分析博客 post 的出色分析和可视化示例。我们希望这可以帮助您加快开发过程并激发想象力!


下一步是 "Set up Azure Databricks for Microsoft Academic Graph - docs.microsoft.com/en-us/academic-services/graph/get-started-setup-databricks",我也照做了。我能够为 MAG 创建一个 Azure Databricks(我不知道它们是什么,因为我是新手),但现在我无法将其设置为 运行。

以下是我收到的错误信息:


留言

集群终止。原因:云提供商启动失败

启动工作节点时遇到云提供商错误。有关详细信息,请参阅 Databricks 指南。

Azure 错误代码:OperationNotAllowed

Azure 错误消息:操作无法完成,因为它导致超出批准的总区域核心配额。其他详细信息 - 部署模型:资源管理器,位置:centralus,当前限制:4,当前使用情况:4,额外要求:4,(最低)要求新限制:8。在 https://aka.ms/ProdportalCRP/?#create/Microsoft.Support/Parameters/~~~ by specifying parameters listed in the ‘Details’ section for deployment to succeed. Please read more about quota limits at https://docs.microsoft.com/en-us/azure/azure-supportability/regional-quota-requests 提交增加配额的请求。


我不确定我应该做什么。

"Total Regional Cores quota" 超出了,不是我个人订阅等。我如何要求增加整个区域的配额? 他们说我需要申请更大的配额,这不能用我按照手册创建的免费试用帐户来完成。这是不是说明说明书写错了,我要变成Pay-As-You-Go? "Current Usage: 4" 但我目前没有使用任何东西。我只有一个 Azure 存储和一个未 运行 的 Databrick 集群。 我 re-tried 启动集群,第二次成功启动,几分钟后停用并显示相同的错误消息。

我不会做任何复杂的查询和其他事情 - 这将非常昂贵。作为糟糕的研究等,我想要得到的只是遵循 MAG 模式的数据集;我将 运行 在我的桌面上对它们进行任何免费分析,但速度较慢。非常感谢任何帮助。

您的订阅对整个事物有 4 个核心的限制。指南 (https://docs.microsoft.com/en-us/academic-services/graph/get-started-setup-databricks) 中的图片显示了使用 Standard_DS3_v2 大小的 VM 和至少 2 个工作人员设置数据块集群。图片进一步显示 DS3 虚拟机有 4 个内核,因此 2x4 = 8 个内核供您订阅。

您需要至少有 1 个工作器或使用较小的 VM。我还建议关闭自动缩放以避免出现问题。

要试用 Azure Databricks,您需要有“现收现付”订阅。

A​​zure Free Trail 有 4 个核心的限制,您不能使用免费试用订阅创建 Azure Databricks 集群,因为创建 spark 集群需要超过 4 个核心。

如果您有免费帐户,请转到您的个人资料并将您的订阅更改为现收现付。然后,remove the spending limit, and request a quota increase 用于您所在地区的 vCPU。创建 Azure Databricks 工作区时,您可以 select 试用(高级 - 14 天免费 DBU)定价层,让工作区可以访问免费的高级 Azure Databricks DBU 14 天。

详情请参考“Sign up for a Free Azure Databricks Trial”。

您可以使用 databricks 社区版尝试大部分示例:

https://community.cloud.databricks.com/login.html

为数据块使用免费的 Azure 订阅和试用层我在执行此模块时遇到了同样的错误https://docs.microsoft.com/en-us/learn/modules/describe-azure-databricks/

创建集群时我将集群模式从'standard'修改为'none',问题解决;我可以 运行 python 笔记本。

我把集群模式改成了单节点。它对我有用。