数据流进程挂起

Question

我是 运行 数据流批处理作业，从 BigQuery 查询。当我使用 DirectRunner 时，一切正常，结果写入新的 BigQuery table。当我更改为 DataflowRunner 时，事情似乎中断了。

日志显示 30 个工作实例已成功启动。网络 UI 中的图表显示作业已启动。前 3 步显示 "Running"，其余显示 "not started"。 None 个步骤显示任何记录 t运行sformed（即输出集合全部显示“-”）。日志显示许多看起来像这样的消息，这可能是问题所在：

skipping: failed to "StartContainer" for "python" with CrashLoopBackOff: "Back-off 10s restarting failed container=python pod=......

我退后一步，只是 运行 最小字数示例，成功完成。因此，所有必要的 API 似乎都已为 Dataflow runner 启用。我只是想了解导致我的 Dataflow 作业挂起的原因。

我正在执行这样的工作：

python2.7 script.py --runner DataflowRunner --project projectname --requirements_file requirements.txt --staging_location gs://my-store/staging --temp_location gs://my-store/temp

Answer 1

我不确定我的解决方案是否是上面粘贴的错误的原因，但修复依赖项问题（根本没有在日志中显示为错误！）确实解决了挂起的数据流进程。

因此，如果您有一个挂起的进程，请确保您的工作人员拥有所有必要的依赖项。您可以通过 --requirements_file 参数或自定义 setup.py 脚本提供它们。

感谢我在 , the pipeline appears to be operating, albeit VERY SLOWLY 中得到的帮助。