使用 Twitter 流构建图形并使用 Apache Flink 进行查询

Build a graph with Twitter stream and query using Apache Flink

我收听 Twitter 流并成功地从推文中提取我想要的数据。现在我想继续用提取的信息构建一个图表,比如

 (user)--[tweets]-->(tweet) 

 (tweet)--[mentions]-->(user)

 (tweet)--[tagged]-->(hashtag)

虽然此图不断构建,但我想 运行 查询此图。我如何使用 Apache Flink 做到这一点?

通过深入研究论坛和 JIRA,我发现 gelly-streaming 符合我的需求。

有了它,我们可以创建一个GraphStream

GraphStream<Long, NullValue, NullValue> graph = new SimpleEdgeStream<>(getEdgesDataSet(env), env);

示例:https://github.com/vasia/gelly-streaming/tree/master/src/main/java/org/apache/flink/graph/streaming/example


这里有一些其他相关链接。

在 Apache Flink 邮件列表中:http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Graph-with-stream-of-updates-td5166.html

Vasia Kalavri 关于 Graphs as Streams 的演讲:https://berlinbuzzwords.de/session/graphs-streams-rethinking-graph-processing-streaming-era