使用 databricks-cli 在 Databricks 中创建一个新集群

Question

我正在尝试使用 databricks-cli 在 Azure 上的 Databricks 中创建一个新集群。

我正在使用以下命令：

databricks clusters create --json '{ "cluster_name": "template2", "spark_version": "4.1.x-scala2.11" }'

并恢复此错误：

Error: {"error_code":"INVALID_PARAMETER_VALUE","message":"Missing required field: size"}

我找不到关于这个问题的文档，很乐意得到一些帮助。

Answer 1

我找到了正确答案here。

Azure 上运行此命令的正确格式是：

databricks clusters create --json '{ "cluster_name": "my-cluster", "spark_version": "4.1.x-scala2.11", "node_type_id": "Standard_DS3_v2", "autoscale" : { "min_workers": 2, "max_workers": 50 } }'

Answer 2

为了补充@MorShemesh 给出的答案，您还可以使用 JSON 文件的路径，而不是在命令行指定 JSON。

databricks clusters create --json-file /path/to/my/cluster_config.json

如果您要管理大量集群，这可能是一种更简单的方法。

使用 databricks-cli 在 Databricks 中创建一个新集群

Create a new cluster in Databricks using databricks-cli

bash

command-line-interface

azure

databricks

databricks-cli