emr 中的 mrjob 运行 只有 3 个 MRSteps 中的 1 个 MRStep,集群正在关闭
mrjob in emr is running only 1 MRStep out of 3 MRSteps and cluster is shutting down
错误看起来像这样:-
终止集群:j-SDOP2KOKWYZM
botocore.exceptions.ClientError: 调用 AddJobFlowSteps 操作时发生错误 (ValidationException): 无法修改正在关闭、终止或完成的作业流。
错误如下。很明显,集群在步骤 1 后终止。
此问题是因为 botocore
软件包已弃用。
对此的解决方案可能是:
- 启动持久集群
- 使用该集群 ID 运行 emr 中的 mr 作业
命令:
mrjob create-cluster
确保您已在 mrjob.config
文件中配置集群信息。上面的命令可以让你创建一个持久集群。
python3 MovieSimilarities.py -r emr --cluster-id "your-cluster-id"
--items=ml-100k/u.item ml-100k/u.data > sims2t.txt
现在为运行您的集群指定集群 ID。
错误看起来像这样:- 终止集群:j-SDOP2KOKWYZM
botocore.exceptions.ClientError: 调用 AddJobFlowSteps 操作时发生错误 (ValidationException): 无法修改正在关闭、终止或完成的作业流。
错误如下。很明显,集群在步骤 1 后终止。
此问题是因为 botocore
软件包已弃用。
对此的解决方案可能是:
- 启动持久集群
- 使用该集群 ID 运行 emr 中的 mr 作业
命令:
mrjob create-cluster
确保您已在 mrjob.config
文件中配置集群信息。上面的命令可以让你创建一个持久集群。
python3 MovieSimilarities.py -r emr --cluster-id "your-cluster-id"
--items=ml-100k/u.item ml-100k/u.data > sims2t.txt
现在为运行您的集群指定集群 ID。