Talend 中的公共日志记录
Common Logging in Talend
我试图在 Talend 中实现日志记录。所以我使用普通组件做了一份工作,我通过 Twarn 和 Tdie 记录了错误、信息和调试。
使用 Logcatcher ,我将日志分为调试和错误两个文件。
这部分工作正常。
现在我做了两份工作,
首先:- 使用 trowgenerator 生成线,然后发送到 tmap,然后从 tmap,我根据某些条件发送到两个 twarn 组件。
第二个:- 具有 tlogcatcher、t_filterrow 并根据某些条件分离到两个文件的作业。
所以我是 运行 与第一个作业并行捕获日志的第二个作业,但它不起作用。
我尝试了几种选择,但一直卡在了这里。
主要想法是有一个通用的日志记录组件,可以插入到日志的任何作业中。
有什么方法可以实现吗?
以下是出现的 3 种方式:
log4j: 企业版内置了log4j,这意味着你可以在tWarn/tDie中设置调试级别并配置log4j将它们放入不同的文件中。 (在使用它时,我发现最好将警告作为我自己的信息级别日志,因为 talends 信息级别太深了。)
我确信 log4j 也可以成为 open studio 的 "hacked"。那会解决你的问题。 https://exchange.talend.com搜索log4j有很多结果,你应该看看。
joblet: 如果您更喜欢目前的方式,我会为您提供 2 个选项。首先是尝试创建一个 joblet,但是使用来自多个作业的相同文件不是一个好主意,并且可能会导致错误。这不是一个很好的解决方案,但如果我们只讨论需要生成 2 个文件的 1 个作业,它可能会起作用。
项目级日志记录:您可以尝试启用项目级日志记录,但这会将所有内容记录到文件中。它基本上意味着将 logcatcher 输出重定向到一个文件。那是 1 个文件而不是 2 个,但至少它有效。 https://help.talend.com/display/TalendOpenStudioforBigDataUserGuide520EN/2.6+Customizing+project+settings(统计和日志)
确实没有很好的解决方案来满足您的需求。
Talend 有 built-in 可用的日志记录,而且设置起来非常简单。第一步:创建AMC数据库。第 2 步。设置项目级别的日志记录属性。步骤 3. 检查 AMC 数据库的日志。将记录所有错误和 tWarns。可选步骤 4:根据 AMC 数据库中的日志记录数据创建报告。
您可以记录到文件而不是数据库,但记录到数据库允许更强大的查询和报告。此外,如果您 运行 在 TAC 之外工作,您可以将 AMC 加入 TAC 数据库,以获得一些非常有用的工作报告。
您可以登录:
- 错误和警告
- 统计(工作持续时间)
- FlowMeter(数据流量指标)
屏幕 1 显示了 Talend Studio 中的项目设置
屏幕 2 显示来自 AMC 数据库的查询,日志 table。请注意还有另外两个 table,一个用于统计数据,另一个用于流量。还要注意在所选行中有来自 tWarn 的消息。
感谢大家的长期支持。我能够实现我想要实现的目标。
我创建了一个标准作业,它正在提供 twarn 和 tdie 日志。
然后我有一个 joblet,它捕获日志并根据错误或 info/debug.
分发日志
我试图在 Talend 中实现日志记录。所以我使用普通组件做了一份工作,我通过 Twarn 和 Tdie 记录了错误、信息和调试。 使用 Logcatcher ,我将日志分为调试和错误两个文件。 这部分工作正常。
现在我做了两份工作,
首先:- 使用 trowgenerator 生成线,然后发送到 tmap,然后从 tmap,我根据某些条件发送到两个 twarn 组件。
第二个:- 具有 tlogcatcher、t_filterrow 并根据某些条件分离到两个文件的作业。
所以我是 运行 与第一个作业并行捕获日志的第二个作业,但它不起作用。
我尝试了几种选择,但一直卡在了这里。
主要想法是有一个通用的日志记录组件,可以插入到日志的任何作业中。
有什么方法可以实现吗?
以下是出现的 3 种方式:
log4j: 企业版内置了log4j,这意味着你可以在tWarn/tDie中设置调试级别并配置log4j将它们放入不同的文件中。 (在使用它时,我发现最好将警告作为我自己的信息级别日志,因为 talends 信息级别太深了。) 我确信 log4j 也可以成为 open studio 的 "hacked"。那会解决你的问题。 https://exchange.talend.com搜索log4j有很多结果,你应该看看。
joblet: 如果您更喜欢目前的方式,我会为您提供 2 个选项。首先是尝试创建一个 joblet,但是使用来自多个作业的相同文件不是一个好主意,并且可能会导致错误。这不是一个很好的解决方案,但如果我们只讨论需要生成 2 个文件的 1 个作业,它可能会起作用。
项目级日志记录:您可以尝试启用项目级日志记录,但这会将所有内容记录到文件中。它基本上意味着将 logcatcher 输出重定向到一个文件。那是 1 个文件而不是 2 个,但至少它有效。 https://help.talend.com/display/TalendOpenStudioforBigDataUserGuide520EN/2.6+Customizing+project+settings(统计和日志)
确实没有很好的解决方案来满足您的需求。
Talend 有 built-in 可用的日志记录,而且设置起来非常简单。第一步:创建AMC数据库。第 2 步。设置项目级别的日志记录属性。步骤 3. 检查 AMC 数据库的日志。将记录所有错误和 tWarns。可选步骤 4:根据 AMC 数据库中的日志记录数据创建报告。
您可以记录到文件而不是数据库,但记录到数据库允许更强大的查询和报告。此外,如果您 运行 在 TAC 之外工作,您可以将 AMC 加入 TAC 数据库,以获得一些非常有用的工作报告。
您可以登录:
- 错误和警告
- 统计(工作持续时间)
- FlowMeter(数据流量指标)
屏幕 1 显示了 Talend Studio 中的项目设置
屏幕 2 显示来自 AMC 数据库的查询,日志 table。请注意还有另外两个 table,一个用于统计数据,另一个用于流量。还要注意在所选行中有来自 tWarn 的消息。
感谢大家的长期支持。我能够实现我想要实现的目标。
我创建了一个标准作业,它正在提供 twarn 和 tdie 日志。 然后我有一个 joblet,它捕获日志并根据错误或 info/debug.
分发日志