为 Kafka 主题创建 Hive Table 个生产者
Creating Hive Table Producer for Kafka Topic
我的用例是使用 Apache Hive table 记录创建生产者并将其发送到 Kafka 主题。
我探索了 Confluent Kafka Connect，但到目前为止，他们只提供了一个使用 HDFS 连接器从 Kafka Topic 到 Hive tables 的演示。
有没有人使用 Kafka 连接器从源 Hive tables 到 Kafka 主题？
或者是否有其他选项，例如编写我们可以使用的自定义 Java API 包？
我对其他选择持开放态度。
你是对的，Kafka HDFS Connect 只是一个 Sink，不是 Kafka 的 Source。编辑：似乎现在有一个 HDFS3Source（在试用许可下）
就个人而言，我会完全跳过 Hive，并从 HDFS 读取。
您可以使用纯 Java 来执行此操作，或者您可以使用 Spark/Flink 与那些 Kafka 库集成，或者您可以尝试更多可视化工具，如 Apache NiFi 或 Streamsets 来拉取 HDFS 数据并将其发送给卡夫卡。
通常情况下，HDFS 不是 Kafka 数据的来源，无论如何，据我所知。如果您需要解决问题，Spark 似乎是最常用的工具。写入 Kafka 主题是一个实现细节。
我的用例是使用 Apache Hive table 记录创建生产者并将其发送到 Kafka 主题。
我探索了 Confluent Kafka Connect，但到目前为止，他们只提供了一个使用 HDFS 连接器从 Kafka Topic 到 Hive tables 的演示。
有没有人使用 Kafka 连接器从源 Hive tables 到 Kafka 主题？
或者是否有其他选项，例如编写我们可以使用的自定义 Java API 包？
我对其他选择持开放态度。
你是对的，Kafka HDFS Connect 只是一个 Sink，不是 Kafka 的 Source。编辑：似乎现在有一个 HDFS3Source（在试用许可下）
就个人而言，我会完全跳过 Hive，并从 HDFS 读取。
您可以使用纯 Java 来执行此操作，或者您可以使用 Spark/Flink 与那些 Kafka 库集成，或者您可以尝试更多可视化工具，如 Apache NiFi 或 Streamsets 来拉取 HDFS 数据并将其发送给卡夫卡。
通常情况下，HDFS 不是 Kafka 数据的来源，无论如何，据我所知。如果您需要解决问题，Spark 似乎是最常用的工具。写入 Kafka 主题是一个实现细节。