工作人员启动后数据流作业不是 运行?

Dataflow job not running after worker started?

有时 GCP 数据流作业即使在工作程序成功启动后提交后也不会启动。

以下是未启动数据流作业的可能原因:

1) service accountIAM user

没有足够的权限
  • 向服务帐户添加 dataflow admin 权限。

  • 对于 IAM 用户,请添加广泛级别的访问权限,例如 EDITOROWNER,然后在命令

    下方添加 运行
    • gcloud config set project <your_project_id>
    • gcloud auth login
    • gcloud auth login application-default

2) 有时依赖包会导致这种情况。要解决它,请执行以下步骤: 从本地 requirements.txt

生成 setup.py
- pip freeze > requirements.txt
- then add packages from `requirements.txt` into `setup.py`
- Add proper path of `setup.py` in JOB CONFIG.