使用多个主机配置 mongodb spark 连接器

Question

有没有办法在 SparkConf 中指定多个 MongoDB 主机？文档中的示例 (https://docs.mongodb.com/spark-connector/v1.1/configuration/) 似乎表明没有。

spark.mongodb.output.uri=mongodb://127.0.0.1/
spark.mongodb.output.database=test
spark.mongodb.output.collection=myCollection

Answer 1

spark.mongodb.input.uri 和 spark.mongodb.output.uri 接受 MongoDB Connection URI format。

连接 URI 格式应该适用于所有 MongoDB 受支持的驱动程序，包括 MongoDB Spark 的 Scala 驱动程序。例如，为了连接到副本集，您可以指定：

mongodb://db1.example.net,db2.example.net:2500/?replicaSet=myReplica

configure mongodb spark connector with more than one host