kafka HdfsSinkConnector 完成后是否可以 trigger/call 另一个程序
Is it possible to trigger/call another program when kafka HdfsSinkConnector finish
我想在 kafka HdfsSinkConnector 任务完成时触发 impala 刷新作业。是否可以在任务完成时收到通知或通过任何其他方式 trigger/call 我的其他程序?
HDFS 具有 inotify 功能,该功能实质上将这些日志条目转换为可以使用的事件。
https://issues.apache.org/jira/browse/HDFS-6634
这是一个基于 Java 的示例:https://github.com/onefoursix/hdfs-inotify-example
或者,不是让 Oozie 监视许多目录并浪费资源,脚本可以每分钟左右执行 'hdfs dfs -ls -R /folder|grep|sed' 但这仍然不是基于事件的,所以这取决于您需要多快的反应与如何很容易 implement/use inotify API
我想在 kafka HdfsSinkConnector 任务完成时触发 impala 刷新作业。是否可以在任务完成时收到通知或通过任何其他方式 trigger/call 我的其他程序?
HDFS 具有 inotify 功能,该功能实质上将这些日志条目转换为可以使用的事件。
https://issues.apache.org/jira/browse/HDFS-6634
这是一个基于 Java 的示例:https://github.com/onefoursix/hdfs-inotify-example
或者,不是让 Oozie 监视许多目录并浪费资源,脚本可以每分钟左右执行 'hdfs dfs -ls -R /folder|grep|sed' 但这仍然不是基于事件的,所以这取决于您需要多快的反应与如何很容易 implement/use inotify API