从 Kafka 连接到 S3 的 Parquet 输出

Question

我看到 Kafka Connect 可以以 Avro 或 JSON 格式写入 S3。但是没有 Parquet 支持。添加起来有多难？

Answer 1

Qubole 连接器支持写出 parquet - https://github.com/qubole/streamx

Answer 2

尝试secor： https://github.com/pinterest/secor

可以与 AWS S3、google 云、Azure 的 blob 存储等一起使用。

请注意，您选择的解决方案必须具有以下关键功能： 保证每条消息只写一次，负载分配，容错，监控，分区数据等

Secor 拥有一切，如上所述，可以轻松地与其他 "s3" 风格的服务一起工作..

Answer 3

从 Confluent 5.4.0 开始，正式支持 Parquet 输出到 S3。