Kafka 到 BigQuery，消费消息的最佳方式
Kafka to BigQuery, best way to consume messages
我需要向我的 BigQuery 表接收消息，我想知道使用这些消息的最佳方式是什么。
我在 AWS 的 Kafka 服务器会生成 AVRO 消息，据我所知，Dataflow 需要接收 JSON 格式的消息。所以我用谷歌搜索并找到了一篇解释如何接收消息到 PubSub 的文章，但在 PubSub 上我只看到这种类型的架构，他们在 GCP 上创建了一个 Kafka VM 来生成消息。
我需要知道的是：
是否可以在 PubSub 上从外部 Kafka 服务器接收 AVRO 消息，然后使用我的 Schema 反序列化消息，将其发送到 Dataflow，最后将其发送到 BigQuery 表？
或者我是否需要创建一个 Kafka VM 并使用它来消费来自外部服务器的消息？
这似乎有点令人困惑，但这就是我现在的感受。这里的主要目标是从 AWS 的 Kafka（AVRO 格式）获取消息并将它们放在 BigQuery 表上。如果您有任何建议，我们非常欢迎
非常感谢
Kafka Connect BigQuery Connector可能正是您所需要的。它是一个 Kafka 接收器连接器，允许您将消息从 Kafka 直接导出到 BigQuery。 README 页面提供了详细的配置说明，包括如何让连接器识别您的 Kafka 队列以及如何输入目标 BigQuery table 的信息。此连接器应该能够从您的 Kafka 项目中自动检索 AVRO 架构。
我需要向我的 BigQuery 表接收消息，我想知道使用这些消息的最佳方式是什么。 我在 AWS 的 Kafka 服务器会生成 AVRO 消息，据我所知，Dataflow 需要接收 JSON 格式的消息。所以我用谷歌搜索并找到了一篇解释如何接收消息到 PubSub 的文章，但在 PubSub 上我只看到这种类型的架构，他们在 GCP 上创建了一个 Kafka VM 来生成消息。 我需要知道的是：
是否可以在 PubSub 上从外部 Kafka 服务器接收 AVRO 消息，然后使用我的 Schema 反序列化消息，将其发送到 Dataflow，最后将其发送到 BigQuery 表？
或者我是否需要创建一个 Kafka VM 并使用它来消费来自外部服务器的消息？
这似乎有点令人困惑，但这就是我现在的感受。这里的主要目标是从 AWS 的 Kafka（AVRO 格式）获取消息并将它们放在 BigQuery 表上。如果您有任何建议，我们非常欢迎
非常感谢
Kafka Connect BigQuery Connector可能正是您所需要的。它是一个 Kafka 接收器连接器，允许您将消息从 Kafka 直接导出到 BigQuery。 README 页面提供了详细的配置说明，包括如何让连接器识别您的 Kafka 队列以及如何输入目标 BigQuery table 的信息。此连接器应该能够从您的 Kafka 项目中自动检索 AVRO 架构。