sc 未在 SparkContext 中定义

Question

我的 Spark 包是 spark-2.2.0-bin-hadoop2.7.

我将 spark 变量导出为

export SPARK_HOME=/home/harry/spark-2.2.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

我用

打开了 spark notebook

pyspark

我可以从 spark 加载包

from pyspark import SparkContext, SQLContext
from pyspark.ml.regression import LinearRegression
print(SQLContext)

输出是

<class 'pyspark.sql.context.SQLContext'>

但我的错误是

print(sc)
"sc is undefined"

请问谁能帮帮我...！

Answer 1

在pysparkShell中，SparkContext已经初始化为SparkContext(app=PySparkShell, master=local[*])所以你只需要使用getOrCreate()设置SparkContext 作为

的变量

sc = SparkContext.getOrCreate()
sqlContext = SQLContext(sc)

出于简单本地模式中的编码目的，您可以执行以下操作

from pyspark import SparkConf, SparkContext, SQLContext

conf = SparkConf().setAppName("test").setMaster("local")
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)
print(sc)
print(sqlContext)