Apache Flume 采样率

Question

是否可以在将记录写入 HDFS 之前将采样率指定为 Flume？是否有一些 flume 接收器配置可以做到这一点，或者我们是否需要编写自己的 Flume 拦截器来进行采样？我在 Apache Flume 用户指南页面上找不到任何文档。

Answer 1

是的，您可以通过在 hdfs sink 中指定批量大小来实现：

hdfs.batchSize = 100 // 100 is the default.

您还应确保指定的信道容量也足够大。