奇怪的 Google 数据流作业日志条目

Strange Google Dataflow job log entries

最近我在工作详细信息视图中的工作日志充满了条目,例如:

  "Worker configuration: [machine-type] in [zone]."

作业本身似乎工作正常,但这些条目之前没有出现,我担心因此无法发现有意义的日志条目。

这是我应该担心的事情吗?你知道如何摆脱它们吗?

是的,这些日志是垃圾邮件,无需担心。我已经提交了一个内部错误来减少这些垃圾日志(这是第一个)。在修复过程中,您可以熟悉 Stackdriver Logs Exclusion feature。这允许您创建过滤器以根据 user-defined 查询排除日志。

以下是排除特定 Datawflow 日志的步骤:

  1. 导航至 logs ingestion page
  2. 找到 "Dataflow Step" 行
  3. 单击同一行上的 right-most 按钮
  4. Select drop-down
  5. 中的 "Create Exclusion Filter..." 选项
  6. 将查询写入 select 您要排除的日志 (在你的情况下:resource.type="dataflow_step" "Worker configuration"
  7. 为您的过滤器命名
  8. Select 您要排除的日志百分比(默认排除 100% 的 selected 日志)
  9. 单击 "Create Exclusion" 按钮
  10. 您可以在日志提取页面的 "Exclusions" 选项卡中查看您创建的排除过滤器

而且您现在不应该看到此类日志为新安排的作业发送垃圾邮件!我们添加了逻辑来防止过多记录此类消息。