下面的 scalding 预处理和 post-process 将在哪个 hadoop 节点上运行？

Question

我有下面的 example 代码，用于在 sclading 作业运行s 和一些 post 之前进行一些预处理。由于这些预处理和 post-process 正在调用一些 mysql 数据库，我想知道哪些 hadoop 节点可能会运行它们？（我需要打开从这些节点到数据库的端口）它可以运行预处理和 post 处理任何 hadoop data-node 吗？我试着做了一些研究，但找不到任何迹象，如何通过文档/来源找到它在哪个节点上运行？（PS 作业安排 oozie）

  preProcessingBeforeJobRuns() // **in which hadoop node would this be run? could it run on any datanode?**
  log.info(s"ABOUT TO RUN JOB with input $jobInput")
  val scaldingTool = new Tool
  scaldingTool.setJobConstructor(createJob(jobInput))
  val parser: GenericOptionsParser = new GenericOptionsParser(new Configuration(), args)
  scaldingTool.setConf(parser.getConfiguration)
  log.info(s"CALLING SCALDING RUN with args: ${args.toList.mkString(" ")}")
  val status = scaldingTool.run(args)
  log.info("FINISHED RUNNING JOB!")
  somePostJobProcessing() // **in which hadoop node would this be run? could it run on any datanode?**

Answer 1

您发布的代码将运行在 Hadoop 主节点上。 scaldingTool.run(args) 将触发您的作业，这将触发在任务节点上执行的作业。

下面的 scalding 预处理和 post-process 将在哪个 hadoop 节点上运行？

On which hadoop node would the below scalding pre-process and post-process runs?

hadoop

scala

scalding