Kafka如何用于服务器之间的文件传输？
How can Kafka be used for transferring files between servers?
我正在寻找一种解决方案，使一堆文件在多个服务器（一个“主”和多个“副本”）之间不断同步。
我已经找到并成功测试了基于 ssh 和 rsync 的 lsyncd https://github.com/axkibe/lsyncd。
但是，我想看看是否可以找到吞吐量更高的解决方案。
我已经开始研究 Kafka（它基本上是一个消息代理），我想知道 Kafka 是否可以配置为对这个用例有用。如果是这样，如何？您是否知道基于 om Kafka 的现有解决方案？我应该使用特定的 tools/plugins 吗？
看起来 Kafka 本身并不支持这种开箱即用的 use-case。
虽然可以为此编写一个连接器，但我认为不同的解决方案会更合适。
据我所知，目前合适的解决方案是：
- 使用 NFS 等网络文件系统
- 使用 lsyncd
等工具通过 rsync/scp 同步文件
- 如果这些文件是 JSON 个文档，请使用基于 JSON 个文档的 NoSQL 数据库（例如 MongoDB 或 CouchBase）并设置复制
我正在寻找一种解决方案，使一堆文件在多个服务器（一个“主”和多个“副本”）之间不断同步。
我已经找到并成功测试了基于 ssh 和 rsync 的 lsyncd https://github.com/axkibe/lsyncd。
但是，我想看看是否可以找到吞吐量更高的解决方案。
我已经开始研究 Kafka（它基本上是一个消息代理），我想知道 Kafka 是否可以配置为对这个用例有用。如果是这样，如何？您是否知道基于 om Kafka 的现有解决方案？我应该使用特定的 tools/plugins 吗？
看起来 Kafka 本身并不支持这种开箱即用的 use-case。
虽然可以为此编写一个连接器，但我认为不同的解决方案会更合适。
据我所知，目前合适的解决方案是：
- 使用 NFS 等网络文件系统
- 使用 lsyncd 等工具通过 rsync/scp 同步文件
- 如果这些文件是 JSON 个文档，请使用基于 JSON 个文档的 NoSQL 数据库（例如 MongoDB 或 CouchBase）并设置复制