confluent-3.2.0 S3 连接器默认分区设置

confluent-3.2.0 S3 Connector default partition settings

我已经能够将我的主题日期流成功写入我的 s3 存储桶,但是,数据是按数字分区的 (partition=0)。

当前显示:(Amazon S3 > bucket-name > topics > test > partition=0

是否可以按日期(yyyy-mm-dd) 对数据进行分区?如果是这样,覆盖默认分区设置的配置在哪里。

感谢您的帮助, 战同

documentation, the connector has a pluggable partitioner and a built-in TimeBasedPartitioner that can partition the data based upon ingestion time. The various partitioner configuration parameters allow you to control things like the directory structure. There's even a DailyPartitioner 中所述,它是 TimeBasedPartitioner 的特化,可生成类似于 /year=2017/month=12/day=07 的路径结构。

如果 none 这些工作,您始终可以选择实施自定义 Partitioner class 或专门化 TimeBasedPartitioner class(或任何它的子 classes) 如果这样更容易的话。