合并来自不同 Flink 作业的结果
Combining Results from different Flink Jobs
我有 3 个作业从同一个输入流读取。
每个都给出不同的输出
我如何结合不同工作的结果
并创建一个 JSON 字符串
示例：{"key":"input_msg", "result_1":"job1_result",...}
我希望避免查询数据库，就好像我将我的作业扩展到一个会产生负面影响的巨大数量。
您可以将所有三个作业合并为一个，然后将这三个部分的结果连接起来形成连接的 JSON 结果。
是的，这是可能的
available_topics = List("topic_1", "topic_2")
var streams = collection.mutable.Map[String, DataStream[String]]()
for(a <- 0 until available_topics.size){
streams += (available_topics(a) -> env.addSource(new FlinkKafkaConsumer09(available_topics(a), new SimpleStringSchema(), properties)).map(x => someFunctionThatS(x)))
}
我有 3 个作业从同一个输入流读取。 每个都给出不同的输出 我如何结合不同工作的结果 并创建一个 JSON 字符串
示例：{"key":"input_msg", "result_1":"job1_result",...}
我希望避免查询数据库，就好像我将我的作业扩展到一个会产生负面影响的巨大数量。
您可以将所有三个作业合并为一个，然后将这三个部分的结果连接起来形成连接的 JSON 结果。
是的，这是可能的
available_topics = List("topic_1", "topic_2")
var streams = collection.mutable.Map[String, DataStream[String]]()
for(a <- 0 until available_topics.size){
streams += (available_topics(a) -> env.addSource(new FlinkKafkaConsumer09(available_topics(a), new SimpleStringSchema(), properties)).map(x => someFunctionThatS(x)))
}