elasticsearch-hadoop如何基于不同的ES集群创建两个RDD
how does elasticsearch-hadoop create two RDDs based on different ES clusters
我需要加入来自两个不同ES集群的两个Rdds，但我发现我只能基于一个ES集群创建一个SparkConf和SparkContext。例如代码如下：
var sparkConf: SparkConf = new SparkConf()
sparkConf.set("es.nodes", "192.168.0.22:9200")
val rdd1=sc.esRDD("userIndex1/type1")
那么如何从不同的 ES 集群创建两个 RDD？
esRDD 有一个 cfg 参数。您可以使用val rdd1=sc.esRDD("userIndex1/type1", Map("es.nodes" -> "192.168.0.22:9200")来设置配置。
我需要加入来自两个不同ES集群的两个Rdds，但我发现我只能基于一个ES集群创建一个SparkConf和SparkContext。例如代码如下：
var sparkConf: SparkConf = new SparkConf()
sparkConf.set("es.nodes", "192.168.0.22:9200")
val rdd1=sc.esRDD("userIndex1/type1")
那么如何从不同的 ES 集群创建两个 RDD？
esRDD 有一个 cfg 参数。您可以使用val rdd1=sc.esRDD("userIndex1/type1", Map("es.nodes" -> "192.168.0.22:9200")来设置配置。