为 spark-shell 设置默认包变量

Question

我正在尝试启动 spark-shell 默认情况下，包变量由环境变量设置。

正常的执行命令是 spark-shell --packages com.databricks:spark-csv_2.11:1.3.0

我想避免总是写 --packages com.databricks:spark-csv_2.11:1.3.0 设置一个变量

为了做到这一点，我可以设置哪个变量？

Answer 1

你可以加行

spark.jars.packages  com.databricks:spark-csv_2.11:1.3.0

进入你的 spark 配置文件：

$SPARK_HOME/conf/spark-defaults.conf

注意：这会影响任何 spark 应用程序，而不仅仅是 spark-shell。
在 spark documentation 中查看更多内容。

Set default packages variable for spark-shell