使用 Twitter 流构建图形并使用 Apache Flink 进行查询
Build a graph with Twitter stream and query using Apache Flink
我收听 Twitter 流并成功地从推文中提取我想要的数据。现在我想继续用提取的信息构建一个图表,比如
(user)--[tweets]-->(tweet)
(tweet)--[mentions]-->(user)
(tweet)--[tagged]-->(hashtag)
虽然此图不断构建,但我想 运行 查询此图。我如何使用 Apache Flink 做到这一点?
通过深入研究论坛和 JIRA,我发现 gelly-streaming 符合我的需求。
有了它,我们可以创建一个GraphStream
,
GraphStream<Long, NullValue, NullValue> graph = new SimpleEdgeStream<>(getEdgesDataSet(env), env);
这里有一些其他相关链接。
在 Apache Flink 邮件列表中:http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Graph-with-stream-of-updates-td5166.html
Vasia Kalavri 关于 Graphs as Streams 的演讲:https://berlinbuzzwords.de/session/graphs-streams-rethinking-graph-processing-streaming-era
我收听 Twitter 流并成功地从推文中提取我想要的数据。现在我想继续用提取的信息构建一个图表,比如
(user)--[tweets]-->(tweet)
(tweet)--[mentions]-->(user)
(tweet)--[tagged]-->(hashtag)
虽然此图不断构建,但我想 运行 查询此图。我如何使用 Apache Flink 做到这一点?
通过深入研究论坛和 JIRA,我发现 gelly-streaming 符合我的需求。
有了它,我们可以创建一个GraphStream
,
GraphStream<Long, NullValue, NullValue> graph = new SimpleEdgeStream<>(getEdgesDataSet(env), env);
这里有一些其他相关链接。
在 Apache Flink 邮件列表中:http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Graph-with-stream-of-updates-td5166.html
Vasia Kalavri 关于 Graphs as Streams 的演讲:https://berlinbuzzwords.de/session/graphs-streams-rethinking-graph-processing-streaming-era