emr 中的 mrjob 运行 只有 3 个 MRSteps 中的 1 个 MRStep,集群正在关闭

mrjob in emr is running only 1 MRStep out of 3 MRSteps and cluster is shutting down

错误看起来像这样:- 终止集群:j-SDOP2KOKWYZM

botocore.exceptions.ClientError: 调用 AddJobFlowSteps 操作时发生错误 (ValidationException): 无法修改正在关闭、终止或完成的作业流。

错误如下。很明显,集群在步骤 1 后终止。 此问题是因为 botocore 软件包已弃用。

对此的解决方案可能是:

  1. 启动持久集群
  2. 使用该集群 ID 运行 emr 中的 mr 作业

命令:

mrjob create-cluster

确保您已在 mrjob.config 文件中配置集群信息。上面的命令可以让你创建一个持久集群。

python3 MovieSimilarities.py -r emr --cluster-id "your-cluster-id"
    --items=ml-100k/u.item ml-100k/u.data > sims2t.txt

现在为运行您的集群指定集群 ID。