在 nifi tailFile 处理器中添加前缀或后缀
add prefix or sufix in nifi tailFile processor
在我的项目中,我使用 Nifi 从 tomcat 读取日志文件并在 spark 应用程序中处理这些数据,然后将这些处理数据插入数据库中。
但我的问题是,在应用服务器级别,我在 2 个不同的框中有 4 个 tomcat 集群(4 个不同的日志文件),并且我在 spark 级别标出了哪些数据来自哪个集群。在我目前的设置中,我在 Nifi 中有 2 个 tailFile 处理器,它指向每个盒子中的单个输出端口,但无法识别哪个数据来自火花级别的哪个集群。
tailFile 处理器中是否有任何选项可以在每条记录中添加一些后缀或前缀或文件名(或任何属性)?这样我就可以识别每条记录来自哪个集群并以这种方式保存在数据库中?
任何帮助将不胜感激....
提前致谢
日志文件名存储在 TailFile 处理器后的 tailfile.original.path
属性中
因此,在 TailFile 处理器之后放置另一个处理器,它将向流文件内容添加所需的前缀。例如,您可以使用 ReplaceText。
在我的项目中,我使用 Nifi 从 tomcat 读取日志文件并在 spark 应用程序中处理这些数据,然后将这些处理数据插入数据库中。
但我的问题是,在应用服务器级别,我在 2 个不同的框中有 4 个 tomcat 集群(4 个不同的日志文件),并且我在 spark 级别标出了哪些数据来自哪个集群。在我目前的设置中,我在 Nifi 中有 2 个 tailFile 处理器,它指向每个盒子中的单个输出端口,但无法识别哪个数据来自火花级别的哪个集群。
tailFile 处理器中是否有任何选项可以在每条记录中添加一些后缀或前缀或文件名(或任何属性)?这样我就可以识别每条记录来自哪个集群并以这种方式保存在数据库中?
任何帮助将不胜感激....
提前致谢
日志文件名存储在 TailFile 处理器后的 tailfile.original.path
属性中
因此,在 TailFile 处理器之后放置另一个处理器,它将向流文件内容添加所需的前缀。例如,您可以使用 ReplaceText。