AWS Glue 作业访问参数

Question

我有一个用 Scala 编写的粘合作业（Spark 作业），我想将参数传递给它。我使用 lambda 函数来触发作业。我应该如何访问传递给作业的参数？

这是正确的方法吗？

def main(sysArgs: Array[String]) {

    /** This is input parameter */
   val par = sysArgs(0)

}

还是其他的？

Answer 1

使用GlueArgParser解析参数：

import com.amazonaws.services.glue.util.GlueArgParser

val args = GlueArgParser.getResolvedOptions(
  sysArgs, Array(
    "JOB_NAME",
    "CUSTOM_PARAMETER")
)
val param = args("CUSTOM_PARAMETER")

请注意，传递的参数应带有前缀 --（即 --CUSTOM_PARAMETER）