Databricks 中使用的集群管理器是什么？如何更改 Databricks 集群中的执行程序数量？
what is the cluster manager used in Databricks ? How do I change the number of executors in Databricks clusters?
Databricks 中使用的集群管理器是什么？
如何更改 Databricks 集群中的执行程序数量？
What is the cluster manager used in Databricks?
Azure Databricks 通过提供 零管理云平台 构建在 Spark 的功能之上，其中包括：
- 完全托管的 Spark 集群
- 用于探索和可视化的交互式工作空间
- 一个为您喜爱的基于 Spark 的应用程序提供动力的平台
Databricks Runtime 建立在 Apache Spark 之上，是为 Azure 云原生构建的。
借助 Serverless 选项，Azure Databricks 完全抽象出基础设施的复杂性和对专业知识的需求来设置和配置数据基础设施。无服务器选项可帮助数据科学家作为一个团队快速迭代。
对于关心生产作业性能的数据工程师，Azure Databricks 通过在 I/O 层和处理层的各种优化（Databricks I/O ).
How do I change the number of executors in Databricks clusters ?
创建集群时，您可以为集群提供固定数量的工作人员或为集群提供最小和最大工作人员数量.
当您提供固定大小的集群时：Azure Databricks 确保您的集群具有指定数量的工作人员。当您提供工人数量的范围时，Databricks 会选择 运行 您的工作所需的适当工人数量。这称为自动缩放。
使用自动缩放：Azure Databricks 动态重新分配工作人员以考虑您的工作特征。管道的某些部分可能比其他部分对计算要求更高，Databricks 会在您工作的这些阶段自动添加额外的工作人员（并在不再需要时删除它们）。
自动缩放可以更轻松地实现高集群利用率，因为您无需配置集群来匹配工作负载。这尤其适用于要求随时间变化的工作负载（例如在一天中探索数据集），但它也适用于配置要求未知的一次性较短工作负载。因此，自动缩放提供了两个优势：
- 与配置不足的恒定大小集群相比，工作负载可以 运行 更快。
- 与静态大小的集群相比，自动缩放集群可以降低总体成本。
注意： 根据集群和工作负载的恒定大小，自动缩放可以同时为您提供其中一项或两项优势。集群大小可以低于云提供商终止实例时选择的最小工作人员数量。在这种情况下，Azure Databricks 会不断重试重新配置实例，以维持最少数量的工作人员。
集群自动缩放不适用于 spark-submit 作业。要了解有关自动缩放的更多信息，请参阅 Cluster autoscaling。
希望对您有所帮助。
回答问题：
What is the cluster manager used in Databricks?
我试图挖掘出这些信息，但我无法从官方文档中找到任何关于它的信息。
Databricks 似乎没有使用提到的 Spark 中的任何集群管理器here
根据this presentation，在第23页，它提到了Databricks集群管理器的3个部分
- 实例管理器
- 资源管理器
- Spark 集群管理器
所以我猜 Databricks 使用它自己的 pripriotory 集群管理器。
Databricks 中使用的集群管理器是什么？ 如何更改 Databricks 集群中的执行程序数量？
What is the cluster manager used in Databricks?
Azure Databricks 通过提供 零管理云平台 构建在 Spark 的功能之上，其中包括：
- 完全托管的 Spark 集群
- 用于探索和可视化的交互式工作空间
- 一个为您喜爱的基于 Spark 的应用程序提供动力的平台
Databricks Runtime 建立在 Apache Spark 之上，是为 Azure 云原生构建的。
借助 Serverless 选项，Azure Databricks 完全抽象出基础设施的复杂性和对专业知识的需求来设置和配置数据基础设施。无服务器选项可帮助数据科学家作为一个团队快速迭代。
对于关心生产作业性能的数据工程师，Azure Databricks 通过在 I/O 层和处理层的各种优化（Databricks I/O ).
How do I change the number of executors in Databricks clusters ?
创建集群时，您可以为集群提供固定数量的工作人员或为集群提供最小和最大工作人员数量.
当您提供固定大小的集群时：Azure Databricks 确保您的集群具有指定数量的工作人员。当您提供工人数量的范围时，Databricks 会选择 运行 您的工作所需的适当工人数量。这称为自动缩放。
使用自动缩放：Azure Databricks 动态重新分配工作人员以考虑您的工作特征。管道的某些部分可能比其他部分对计算要求更高，Databricks 会在您工作的这些阶段自动添加额外的工作人员（并在不再需要时删除它们）。
自动缩放可以更轻松地实现高集群利用率，因为您无需配置集群来匹配工作负载。这尤其适用于要求随时间变化的工作负载（例如在一天中探索数据集），但它也适用于配置要求未知的一次性较短工作负载。因此，自动缩放提供了两个优势：
- 与配置不足的恒定大小集群相比，工作负载可以 运行 更快。
- 与静态大小的集群相比，自动缩放集群可以降低总体成本。
注意： 根据集群和工作负载的恒定大小，自动缩放可以同时为您提供其中一项或两项优势。集群大小可以低于云提供商终止实例时选择的最小工作人员数量。在这种情况下，Azure Databricks 会不断重试重新配置实例，以维持最少数量的工作人员。
集群自动缩放不适用于 spark-submit 作业。要了解有关自动缩放的更多信息，请参阅 Cluster autoscaling。
希望对您有所帮助。
回答问题：
What is the cluster manager used in Databricks?
我试图挖掘出这些信息，但我无法从官方文档中找到任何关于它的信息。
Databricks 似乎没有使用提到的 Spark 中的任何集群管理器here
根据this presentation，在第23页，它提到了Databricks集群管理器的3个部分
- 实例管理器
- 资源管理器
- Spark 集群管理器
所以我猜 Databricks 使用它自己的 pripriotory 集群管理器。