将 Facebook 实时更新接收到 Kafka

Receive Facebook real time updates into Kafka

我是 kafka 的新手,我想知道我是否正朝着正确的方向前进。

我想接收 Facebook 实时更新 facebook subscriptions 到 kafka 中。

要从 Facebook 获取数据,您需要提供 URL 您将接收数据的信息。

所以我发现接收数据的最佳方法是实施 dropwizard-kafka-http 并将数据推送到 kafka。

你绝对是在正确的轨道上。

请注意,FB 的推送通知不会为您提供实际内容;你仍然需要请求它。来自他们的文档:

Note that real-time updates only indicate that a particular field has changed, they do not include the value of those fields. They should be used only to indicate when a new Graph API request to that field needs to be made.

因此,如果您想要一种将实际内容快速导入 Kafka 的方法,那您可真不走运。你将有一些最小的来回。

您确定要使用 Java 吗? Scala 中的轻量级喷雾罐端点怎么样?毕竟Kafka是一个Scala项目:)