有没有办法知道kafka connect sink写入了多少条记录?

is there a way to know how many record are written by kafka connect sink?

我使用 HDFS 接收器连接器,我想知道有多少记录被放入 HDFS。

在日志中我有连接器开始将文件放入 HDFS 的日志,但没有记录有多少。
例如:

INFO Opening record writer for: hdfs://hdfs/path/+tmp/table/partition=2020-02-27/19955b52-8189-4f70-94b5-46d579cd1505_tmp.avro (io.confluent.connect.hdfs.avro.AvroRecordWriterProvider)

是否可以通过扩展连接器本身来实现?

我使用 kafka 连接 HDFS 2 接收器。

开箱即用,据我所知(当然,它是开源的,你可以看看)。每个文件都会有可变数量的数据,因此度量跟踪不会太有用。

我不记得调试或跟踪日志是否公开了该信息。

您可以使用 Hive/Spark/HDFS CLI 检查每个文件,但