Databricks Spark 大会
Databricks Spark Conf
很抱歉提出这个愚蠢的问题,但我正在尝试更改 spark 连接器的配置,特别是 Mongo Spark 连接器(需要将连接器从连接到我们的 Prod 服务器更改为辅助服务器) .我如何访问 SparkConf 以进行这些更改?我正在使用 Databricks 和 Python、v2.1
我正在查看 https://docs.mongodb.com/spark-connector/master/configuration/,但我什至不知道我在哪里输入这个?本地?在笔记本里?进入命令行?我已经尝试过这些但没有取得任何成功。如果有人有实际的逐步分解,那将是惊人的。
如果您想使用 Databricks 仪表板提供配置:
- 转到您的 Databricks 仪表板。
打开集群面板。
单击“创建集群”。
打开 Spark 选项卡并指定所需的选项:
您应该使用与配置文件相同的格式,包括前缀:
spark.mongodb.input.uri mongodb://host:port/
参考:
很抱歉提出这个愚蠢的问题,但我正在尝试更改 spark 连接器的配置,特别是 Mongo Spark 连接器(需要将连接器从连接到我们的 Prod 服务器更改为辅助服务器) .我如何访问 SparkConf 以进行这些更改?我正在使用 Databricks 和 Python、v2.1
我正在查看 https://docs.mongodb.com/spark-connector/master/configuration/,但我什至不知道我在哪里输入这个?本地?在笔记本里?进入命令行?我已经尝试过这些但没有取得任何成功。如果有人有实际的逐步分解,那将是惊人的。
如果您想使用 Databricks 仪表板提供配置:
- 转到您的 Databricks 仪表板。
打开集群面板。
单击“创建集群”。
打开 Spark 选项卡并指定所需的选项:
您应该使用与配置文件相同的格式,包括前缀:
spark.mongodb.input.uri mongodb://host:port/
参考: