如何在 play-framework conf/application.conf 文件中设置 spark standalone master url?
How to set spark standalone master url in play-framework conf/application.conf file?
用 spark 独立集群插入 play 应用程序它在开发模式下执行良好但当尝试在生产模式下部署时它会出现以下错误:
Caused by: org.apache.spark.SparkException: A master URL must be set in your configuration
我使用的是 spark-2.1,这里是代码片段
lazy val spark = SparkSession.builder().appName("Spark_with_Play").master("spark://ip:7077").config("spark.executor.memory", "2g").config("spark.deploy.defaultCores",8).getOrCreate()
那么在生产模式下如何在conf/appliaction.conf文件中设置spark master?
经过多次试验能够找到 typesafe config,它用于从 application.conf 文件中读取配置并将其传递到代码中。
这是 application.conf 文件的内容:
spark.master = "spark://ip:7077"
这是添加到 build.sbt
的行
"com.typesafe"%"config"%"1.2.0"
在控制器中,这里是代码片段:
import com.typesafe.config._
val conf = ConfigFactory.load()
val sparkMaster = conf.getString("spark.master")
val spark= SparkSession.builder().master(sparkMaster).getOrCreate()
用 spark 独立集群插入 play 应用程序它在开发模式下执行良好但当尝试在生产模式下部署时它会出现以下错误:
Caused by: org.apache.spark.SparkException: A master URL must be set in your configuration
我使用的是 spark-2.1,这里是代码片段
lazy val spark = SparkSession.builder().appName("Spark_with_Play").master("spark://ip:7077").config("spark.executor.memory", "2g").config("spark.deploy.defaultCores",8).getOrCreate()
那么在生产模式下如何在conf/appliaction.conf文件中设置spark master?
经过多次试验能够找到 typesafe config,它用于从 application.conf 文件中读取配置并将其传递到代码中。 这是 application.conf 文件的内容:
spark.master = "spark://ip:7077"
这是添加到 build.sbt
的行"com.typesafe"%"config"%"1.2.0"
在控制器中,这里是代码片段:
import com.typesafe.config._
val conf = ConfigFactory.load()
val sparkMaster = conf.getString("spark.master")
val spark= SparkSession.builder().master(sparkMaster).getOrCreate()