将平面数据文件从边缘设备提取到 HDFS 并进行处理

Question

我有一个用例，其中车辆上的设备必须将平面二进制文件发送到云服务器，在它们进入时处理它们并将数据存储到 Hbase 中。我想知道哪些数据摄取框架支持从远程设备上传平面二进制文件，以及需要使用哪些数据处理框架来解析这些文件并将数据存储到 HBase 中。请提出适合我的应用的设计。

Answer 1

看看 https://www.confluent.io/product/connectors/ Confluent 平台。您可以通过 kafka 分发所有数据，如果需要使用 kafka 流进行处理，然后使用 kafka 连接器将结果存储到 HBase。