是否可以将 Kafka 与 Google 云数据流一起使用

is it possible to Use Kafka with Google cloud Dataflow

我有两个问题

1) 我想将 Kafka 与 Google 云数据流管道程序一起使用。在我的管道程序中，我想从 kafka 读取数据是否可能？

2) 我创建了启用了 BigQuery 的实例，现在我想启用 Pubsub 我该怎么做？

(1) Raghu 提到的广告，在 2016 年年中通过 KafkaIO 包将对从 Kafka 写入 to/reading 的支持添加到 Apache Beam。您可以查看 package's documentation[1] 了解如何使用它。

(2) 我不太清楚你的意思。你能提供更多细节吗？

[1] https://beam.apache.org/releases/javadoc/current/org/apache/beam/sdk/io/kafka/KafkaIO.html

(2) 自 2015 年 4 月 27 日起，您可以按如下方式启用 Cloud Pub/Sub API：

  1. 转到开发者控制台上的项目页面
  2. 单击 APIs & auth -> APIs
  3. 在 Google Cloud APIs
    4. 内单击 More
  4. 点击Cloud Pub/Sub API
  5. 点击Enable API

Kafka 支持已于 2016 年年中添加到 Dataflow（和 Apache Beam）。您可以读取和写入 Kafka 流管道。请参阅 Apache Beam 中 KafkaIO 的 JavaDoc。