使用 Kafka Connect 实时读取 CSV 文件
Read a CSV file in real time using Kafka Connect
如何在java中集成 Kafka connect 和 Kafka producer，以便我可以实时读取 CSV 文件？我很难找到与此相关的任何来源。
现在我正在使用 scala-ide 来 运行 一个简单的 Kafka 生产者 class，但是没有 idea 如何将它与 Kafka connect 一起使用.
Kafka Connect 已经内置了生产者。您只需要使用正确的连接器插件即可。对于读取 CSV 文件，作为 Kafka 一部分的 FileStreamSource 连接器应该可以工作。您可以在独立模式下启动 Kafka Connect（请参阅 Kafka docs) and configure the connector. The example config files，它们是 Kafka 的一部分，应该可以帮助您入门。
用于读取 CSV 文件的 Kafka Connect 连接器已经存在：https://github.com/jcustenborder/kafka-connect-spooldir。
你可以在这里看到它的一个例子：https://www.confluent.io/blog/ksql-in-action-enriching-csv-events-with-data-from-rdbms-into-AWS/
免责声明：我写了上面的文章，并为 Confluent 工作，发表在其博客上
只是另一个用于读取 CSV 文件的 Kafka Connect 插件：https://github.com/streamthoughts/kafka-connect-file-pulse
希望这个项目可以帮助人们寻找类似的解决方案。
免责声明：我是该项目的贡献者之一
casual spooldir 连接器的问题是您需要在 kafka-connect 的 pod/ 容器中包含 csv 文件。对于大文件可能不安全。
如何在java中集成 Kafka connect 和 Kafka producer，以便我可以实时读取 CSV 文件？我很难找到与此相关的任何来源。
现在我正在使用 scala-ide 来 运行 一个简单的 Kafka 生产者 class，但是没有 idea 如何将它与 Kafka connect 一起使用.
Kafka Connect 已经内置了生产者。您只需要使用正确的连接器插件即可。对于读取 CSV 文件，作为 Kafka 一部分的 FileStreamSource 连接器应该可以工作。您可以在独立模式下启动 Kafka Connect（请参阅 Kafka docs) and configure the connector. The example config files，它们是 Kafka 的一部分，应该可以帮助您入门。
用于读取 CSV 文件的 Kafka Connect 连接器已经存在：https://github.com/jcustenborder/kafka-connect-spooldir。
你可以在这里看到它的一个例子：https://www.confluent.io/blog/ksql-in-action-enriching-csv-events-with-data-from-rdbms-into-AWS/
免责声明：我写了上面的文章，并为 Confluent 工作，发表在其博客上
只是另一个用于读取 CSV 文件的 Kafka Connect 插件：https://github.com/streamthoughts/kafka-connect-file-pulse
希望这个项目可以帮助人们寻找类似的解决方案。
免责声明：我是该项目的贡献者之一
casual spooldir 连接器的问题是您需要在 kafka-connect 的 pod/ 容器中包含 csv 文件。对于大文件可能不安全。