任务在 spark 中只有一个执行者运行

Question

我在运行下面使用 Java 在 spark 中编写代码。

代码

Test.java

package com.sample;

import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.functions;
import org.apache.spark.storage.StorageLevel;

import com.addition.AddTwoNumbers;

public class Test{

    private static final String APP_NAME = "Test";
    private static final String LOCAL = "local";
    private static final String MASTER_IP = "spark://10.180.181.26:7077";

    public static void main(String[] args) {

        SparkConf conf = new SparkConf().setAppName(APP_NAME).setMaster(MASTER_IP);
        String connection = "jdbc:oracle:thin:test/test@//xyz00aie.in.oracle.com:1521/PDX2600N";
        // Create Spark Context
        SparkContext context = new SparkContext(conf);
        // Create Spark Session

        SparkSession sparkSession = new SparkSession(context);
        long startTime = System.currentTimeMillis();
        System.out.println("Start time is : " + startTime);
        Dataset<Row> txnDf = sparkSession.read().format("jdbc").option("url", connection)
                .option("dbtable", "CI_TXN_DETAIL_STG_100M").load();

        System.out.println(txnDf.filter((txnDf.col("TXN_DETAIL_ID").gt(new Integer(1286001510)))
                .and(txnDf.col("TXN_DETAIL_ID").lt(new Integer(1303001510)))).count());


        sparkSession.stop();
    }

}

我只是想查找行范围的计数。范围是 2000 万。

下面是 spark 仪表板的快照

这里我只能在一个 Executor 上看到 Active 任务。我总共有 10 个执行器运行。

我的问题

为什么我的应用程序在一个执行器上显示活动任务，而不是将其分配给所有 10 个执行器？

下面是我的 spark-submit 命令：

./spark-submit --class com.sample.Test--conf spark.sql.shuffle.partitions=5001 --conf spark.yarn.executor.memoryOverhead=11264 --executor-memory=91GB --conf spark.yarn.driver.memoryOverhead=11264 --driver-memory=91G --executor-cores=17  --driver-cores=17 --conf spark.default.parallelism=306 --jars /scratch/rmbbuild/spark_ormb/drools-jars/ojdbc6.jar,/scratch/rmbbuild/spark_ormb/drools-jars/Addition-1.0.jar --driver-class-path /scratch/rmbbuild/spark_ormb/drools-jars/ojdbc6.jar --master spark://10.180.181.26:7077 "/scratch/rmbbuild/spark_ormb/POC-jar/Test-0.0.1-SNAPSHOT.jar" > /scratch/rmbbuild/spark_ormb/POC-jar/logs/log18.txt

Answer 1

看起来所有数据都在一个分区中读取，并转到一个执行程序。为了使用更多的执行者，必须创建更多的分区。可以使用参数 "numPartitions" 以及分区列，如下所示：

https://docs.databricks.com/spark/latest/data-sources/sql-databases.html#jdbc-reads

这个link也很有用：

任务在 spark 中只有一个执行者运行

Task is running on only one executor in spark

apache-spark

apache-spark-2.0

spark-submit

任务在 spark 中只有一个执行者 运行

Task is running on only one executor in spark

apache-spark

apache-spark-2.0

spark-submit

任务在 spark 中只有一个执行者运行