如何将事件从 Azure Events Hub（kafka 接口）集成到 google 云 pub/sub

Question

我有一个要求，需要在 Azure 事件中心使用 kafka 主题。 POST 需要创建端点，它将使用作为参数提供的主题。消息必须在 pubsub 主题上发送，属性为 kafka 主题，消息内容为正文。

这是一个高层次的要求。我查看了 here 以了解如何实现这一目标。但是，如果有人实时实现了从 Azure 事件中心到 google 云发布子的事件或从事过类似的实现，请提供帮助。

Answer 1

正如评论部分所讨论的那样，为了进一步为社区做出贡献，我将讨论摘要作为答案发布。

由于您的数据目的地是 BigQuery，您可以在 Dataflow 中使用 Kafka to BigQuery template，您可以使用此模板将 json 消息从 Kafka 加载到 BigQuery。另外，根据文档，

How to use this Dataflow template Kafka to BigQuery This template creates a streaming pipeline that ingests JSON data from Kafka, executes an optional JavaScript user defined function (UDF), and writes the resulting records to BigQuery. Any errors during the transformation of the data, execution of the UDF, or writing into BigQuery will be written into a separate errors table in BigQuery. The errors table will be created if it does not exist.

Pipeline Requirements

• The Kafka topic(s) exists and the message is encoded as a valid JSON.

• The BigQuery output table exists.

• The Kafka brokers are reachable from the Dataflow worker machines.

另一方面，您可以使用 KafkaIO method, you can check this tutorial 根据您的特定要求创建自己的模板，以更好地了解如何开始。