kafka HdfsSinkConnector 完成后是否可以 trigger/call 另一个程序

Is it possible to trigger/call another program when kafka HdfsSinkConnector finish

我想在 kafka HdfsSinkConnector 任务完成时触发 impala 刷新作业。是否可以在任务完成时收到通知或通过任何其他方式 trigger/call 我的其他程序?

HDFS 具有 inotify 功能,该功能实质上将这些日志条目转换为可以使用的事件。

https://issues.apache.org/jira/browse/HDFS-6634

这是一个基于 Java 的示例:https://github.com/onefoursix/hdfs-inotify-example

或者,不是让 Oozie 监视许多目录并浪费资源,脚本可以每分钟左右执行 'hdfs dfs -ls -R /folder|grep|sed' 但这仍然不是基于事件的,所以这取决于您需要多快的反应与如何很容易 implement/use inotify API

https://community.cloudera.com/t5/Support-Questions/HDFS-Best-way-to-trigger-execution-at-File-arrival/td-p/163423