Kafka 的 CSV 连接器
CSV Connector For Kafka
我的任务是创建一个基本的 ETL 应用程序。我们有一个远程位置，每个月都会将 csv 文件放到那里，它们大约是。大小为 250MB。
应用程序将导入 csv --> 应用业务逻辑（如果需要）--> 插入 SQLServer table。
我一直在考虑为此使用 Kafka。不过，我对它还很陌生，无法找到将 csv 文件导入 Kafka 的连接器。我在 github 中看到了一些项目，但它们似乎已经过时了，而且我在 UnsupportedOperationExceptions
方面遇到了全面的错误
谁能指出正确的方向？我现在正在考虑使用 confluent_kafka
编写连接器
如果您想使用 Kafka（并且根据您的要求并不清楚您是否一定需要），那么 kafka-connect-spooldir is a good connector for your requirement. This article 显示了它的设置和使用示例。
免责声明：我为 Confluent 工作，我写了这篇文章:)
我的任务是创建一个基本的 ETL 应用程序。我们有一个远程位置，每个月都会将 csv 文件放到那里，它们大约是。大小为 250MB。
应用程序将导入 csv --> 应用业务逻辑（如果需要）--> 插入 SQLServer table。
我一直在考虑为此使用 Kafka。不过，我对它还很陌生，无法找到将 csv 文件导入 Kafka 的连接器。我在 github 中看到了一些项目，但它们似乎已经过时了，而且我在 UnsupportedOperationExceptions
方面遇到了全面的错误谁能指出正确的方向？我现在正在考虑使用 confluent_kafka
编写连接器如果您想使用 Kafka（并且根据您的要求并不清楚您是否一定需要），那么 kafka-connect-spooldir is a good connector for your requirement. This article 显示了它的设置和使用示例。
免责声明：我为 Confluent 工作，我写了这篇文章:)