使用 boto3 客户端提交时，spark-submit EMR 步骤失败

Question

我正在尝试使用 EMR 的 boto3 客户端执行 spark-submit。执行下面的代码后，EMR 步骤提交，几秒钟后失败。如果在 EMR 主机上手动执行，步骤日志中的实际命令行是有效的。

控制器日志显示难以阅读的垃圾，看起来像多个进程同时写入。

UPD：已尝试 command-runner.jar 和 EMR 版本 4.0.0 和 4.1.0

任何想法表示赞赏。

代码片段：

class ProblemExample:
    def run(self):
        session = boto3.Session(profile_name='emr-profile')
        client = session.client('emr')
        response = client.add_job_flow_steps(
        JobFlowId=cluster_id,
        Steps=[
            {
                'Name': 'string',
                'ActionOnFailure': 'CONTINUE',
                'HadoopJarStep': {
                    'Jar': 's3n://elasticmapreduce/libs/script-runner/script-runner.jar',
                    'Args': [
                        '/usr/bin/spark-submit',
                        '--verbose',
                        '--class',
                        'my.spark.job',
                        '--jars', '<dependencies>',
                        '<my spark job>.jar'
                    ]
                }
            },
        ]
    )

Answer 1

最终通过正确转义 --jars 值解决了问题。

spark-submit 未能找到类，但在杂乱的日志背景下错误不明确。

有效示例是：

class Example:
  def run(self):
    session = boto3.Session(profile_name='emr-profile')
    client = session.client('emr')
    response = client.add_job_flow_steps(
    JobFlowId=cluster_id,
    Steps=[
        {
            'Name': 'string',
            'ActionOnFailure': 'CONTINUE',
            'HadoopJarStep': {
                'Jar': 'command-runner.jar',
                'Args': [
                    '/usr/bin/spark-submit',
                    '--verbose',
                    '--class',
                    'my.spark.job',
                    '--jars', '\'<coma, separated, dependencies>\'',
                    '<my spark job>.jar'
                ]
            }
        },
    ]
)

使用 boto3 客户端提交时，spark-submit EMR 步骤失败

spark-submit EMR Step failing when submitted using boto3 client

python

emr

apache-spark

boto3