Databricks Spark 大会

Databricks Spark Conf

很抱歉提出这个愚蠢的问题,但我正在尝试更改 spark 连接器的配置,特别是 Mongo Spark 连接器(需要将连接器从连接到我们的 Prod 服务器更改为辅助服务器) .我如何访问 SparkConf 以进行这些更改?我正在使用 Databricks 和 Python、v2.1

我正在查看 https://docs.mongodb.com/spark-connector/master/configuration/,但我什至不知道我在哪里输入这个?本地?在笔记本里?进入命令行?我已经尝试过这些但没有取得任何成功。如果有人有实际的逐步分解,那将是惊人的。

如果您想使用 Databricks 仪表板提供配置:

  • 转到您的 Databricks 仪表板。
  • 打开集群面板。

  • 单击“创建集群”。

  • 打开 Spark 选项卡并指定所需的选项:

  • 您应该使用与配置文件相同的格式,包括前缀:

    spark.mongodb.input.uri  mongodb://host:port/ 
    

参考: