为什么我的 Dataflow 流水线不显示步骤?
Why is my Dataflow pipeline not showing steps?
当我 运行 示例时,我得到了一张显示流程的漂亮图片,我可以在它执行时进行监控。对于我的应用程序,它不显示图表,如果我单击 "Step",它什么也不显示。
添加作业日志的屏幕截图。没有警告或错误。顺便说一句,我假设日志条目上带有 "i" 的图标代表信息级别,但是当我将级别从 BASIC 更改为 ALL 时,添加了更多条目并且它们都具有相同的图标。这令人困惑。 IMO,图标应该更清晰并且应该有悬停提示。
我在 Dataflow 团队。很抱歉您遇到了这个问题。
我认为这是因为您在代码中使用的自定义步骤名称所致。
从作业日志的屏幕截图来看,其中一些步骤似乎已被赋予代表 GCS 存储路径位置的名称。
我从日志中的这条消息中注意到了这一点:
正在执行操作"gs://datalake/landing/...."
这无法在监控中呈现 UI 并且可能命中断言,因为斜线是不允许的字符。
为了解决此问题,请尝试删除代码中使用的自定义步骤名称。这似乎设置为 gs:// 样式路径。您也可以尝试为每个步骤指定名称,而不使用特殊字符。
请在更改后再次尝试 运行 该作业,并查看图形是否在数据流中正确呈现 UI。
我已经创建了一个 github issue 来跟踪这个错误并防止这些斜杠字符将来在数据流 SDK 代码中发送。
如果您遇到任何问题,请告诉我。
当我 运行 示例时,我得到了一张显示流程的漂亮图片,我可以在它执行时进行监控。对于我的应用程序,它不显示图表,如果我单击 "Step",它什么也不显示。
添加作业日志的屏幕截图。没有警告或错误。顺便说一句,我假设日志条目上带有 "i" 的图标代表信息级别,但是当我将级别从 BASIC 更改为 ALL 时,添加了更多条目并且它们都具有相同的图标。这令人困惑。 IMO,图标应该更清晰并且应该有悬停提示。
我在 Dataflow 团队。很抱歉您遇到了这个问题。
我认为这是因为您在代码中使用的自定义步骤名称所致。 从作业日志的屏幕截图来看,其中一些步骤似乎已被赋予代表 GCS 存储路径位置的名称。 我从日志中的这条消息中注意到了这一点:
正在执行操作"gs://datalake/landing/...."
这无法在监控中呈现 UI 并且可能命中断言,因为斜线是不允许的字符。
为了解决此问题,请尝试删除代码中使用的自定义步骤名称。这似乎设置为 gs:// 样式路径。您也可以尝试为每个步骤指定名称,而不使用特殊字符。 请在更改后再次尝试 运行 该作业,并查看图形是否在数据流中正确呈现 UI。
我已经创建了一个 github issue 来跟踪这个错误并防止这些斜杠字符将来在数据流 SDK 代码中发送。
如果您遇到任何问题,请告诉我。