工作人员启动后数据流作业不是 运行?
Dataflow job not running after worker started?
有时 GCP 数据流作业即使在工作程序成功启动后提交后也不会启动。
以下是未启动数据流作业的可能原因:
1) service account
或 IAM user
没有足够的权限
向服务帐户添加 dataflow admin
权限。
对于 IAM 用户,请添加广泛级别的访问权限,例如 EDITOR
或 OWNER
,然后在命令
下方添加 运行
gcloud config set project <your_project_id>
gcloud auth login
gcloud auth login application-default
2) 有时依赖包会导致这种情况。要解决它,请执行以下步骤:
从本地 requirements.txt
生成 setup.py
- pip freeze > requirements.txt
- then add packages from `requirements.txt` into `setup.py`
- Add proper path of `setup.py` in JOB CONFIG.
有时 GCP 数据流作业即使在工作程序成功启动后提交后也不会启动。
以下是未启动数据流作业的可能原因:
1) service account
或 IAM user
向服务帐户添加
dataflow admin
权限。对于 IAM 用户,请添加广泛级别的访问权限,例如
下方添加 运行EDITOR
或OWNER
,然后在命令gcloud config set project <your_project_id>
gcloud auth login
gcloud auth login application-default
2) 有时依赖包会导致这种情况。要解决它,请执行以下步骤:
从本地 requirements.txt
setup.py
- pip freeze > requirements.txt
- then add packages from `requirements.txt` into `setup.py`
- Add proper path of `setup.py` in JOB CONFIG.