Spark - 使用参数从 java 调用 Spark jar

Question

我想从 java 调用 spark jar（到运行纱线上的 spark 进程），并尝试使用此 link 代码。

它看起来适合我的情况，但我需要将 hashmap 和一些 java 值传递给 spakr jar。它能够将 java 对象传递给 spark jar 吗？

java 方是否能够知道 spark jar 的处理过程如何或是否已完成？如果可以，怎么做？

Answer 1

我认为你误解了data-algorithms给出的内容

提交作业有2种方式

1) Spark-submit 如下例来自 shell 脚本

cat run_secondarysorting.sh

#!/bin/bash
export JAVA_HOME=/usr/java/jdk7
export SPARK_HOME=/home/hadoop/spark-1.1.0
export SPARK_MASTER=spark://myserver100:7077
BOOK_HOME=/home/mp/data-algorithms-book
APP_JAR=$BOOK_HOME/dist/data_algorithms_book.jar
INPUT=/home/hadoop/testspark/timeseries.txt
# Run on a Spark standalone cluster
prog=org.dataalgorithms.chap01.spark.SparkSecondarySort
$SPARK_HOME/bin/spark-submit \
--class $prog \
--master $SPARK_MASTER \
--executor-memory 2G \
--total-executor-cores 20 \
$APP_JAR

2) 来自 link.

中描述的 Yarn 客户端

Yarn 客户端的使用是

want to submit Spark jobs from Java code (such as Java servlets or other Java code such as REST servers).

当你调用这个 yarn 客户端时......那么你需要在你的 rest-service 或 servlet 等中调用 as 方法......（即通过网络）其中您还可以传递 HashMap 或任何 java 对象类型的参数...

出于演示目的，他编写了独立客户端（使用 public static void main）

希望你明白..

Spark - 使用参数从 java 调用 Spark jar

Spark - Call Spark jar from java with arguments

java

hadoop-yarn

apache-spark