confluent-3.2.0 S3 连接器默认分区设置
confluent-3.2.0 S3 Connector default partition settings
我已经能够将我的主题日期流成功写入我的 s3 存储桶,但是,数据是按数字分区的 (partition=0)。
当前显示:(Amazon S3 > bucket-name > topics > test > partition=0
是否可以按日期(yyyy-mm-dd) 对数据进行分区?如果是这样,覆盖默认分区设置的配置在哪里。
感谢您的帮助,
战同
如 documentation, the connector has a pluggable partitioner and a built-in TimeBasedPartitioner
that can partition the data based upon ingestion time. The various partitioner configuration parameters allow you to control things like the directory structure. There's even a DailyPartitioner 中所述,它是 TimeBasedPartitioner
的特化,可生成类似于 /year=2017/month=12/day=07
的路径结构。
如果 none 这些工作,您始终可以选择实施自定义 Partitioner
class 或专门化 TimeBasedPartitioner
class(或任何它的子 classes) 如果这样更容易的话。
我已经能够将我的主题日期流成功写入我的 s3 存储桶,但是,数据是按数字分区的 (partition=0)。
当前显示:(Amazon S3 > bucket-name > topics > test > partition=0
是否可以按日期(yyyy-mm-dd) 对数据进行分区?如果是这样,覆盖默认分区设置的配置在哪里。
感谢您的帮助, 战同
如 documentation, the connector has a pluggable partitioner and a built-in TimeBasedPartitioner
that can partition the data based upon ingestion time. The various partitioner configuration parameters allow you to control things like the directory structure. There's even a DailyPartitioner 中所述,它是 TimeBasedPartitioner
的特化,可生成类似于 /year=2017/month=12/day=07
的路径结构。
如果 none 这些工作,您始终可以选择实施自定义 Partitioner
class 或专门化 TimeBasedPartitioner
class(或任何它的子 classes) 如果这样更容易的话。