Elasticsearch Spark，如何多次查询？
Elasticsearch Spark, how to query multiple times?
我在使用 jupyter 笔记本。
我想使用查询 dsl 来准备初始 Dataframe。
我为此使用 conf.set("es.query", dsl_query)。 (https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html#_querying)
但是，我想应用不同的查询来准备另一个 Dataframe，但我找不到在不创建新的 SparkContext
的情况下应用新的 dsl_query 的方法
但我也没有找到在 jupyter 环境中重新创建 SparkContext 的方法。
我想 运行 使用 QueryDSL-1 作为基线进行分析
然后 运行 另一个使用 QueryDSL-2 作为另一个基线的分析
有没有办法不用创建两个笔记本就可以做到这一点？
您只需将 es.query 指定为 DataFrameReader 的选项，即：
spark.read.option("es.query", dsl_query).option("...", "...")
我在使用 jupyter 笔记本。
我想使用查询 dsl 来准备初始 Dataframe。
我为此使用 conf.set("es.query", dsl_query)。 (https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html#_querying)
但是，我想应用不同的查询来准备另一个 Dataframe，但我找不到在不创建新的 SparkContext
但我也没有找到在 jupyter 环境中重新创建 SparkContext 的方法。
我想 运行 使用 QueryDSL-1 作为基线进行分析 然后 运行 另一个使用 QueryDSL-2 作为另一个基线的分析
有没有办法不用创建两个笔记本就可以做到这一点？
您只需将 es.query 指定为 DataFrameReader 的选项，即：
spark.read.option("es.query", dsl_query).option("...", "...")