尝试在 spark 中读取 athena table 时出错

Question

我在 pyspark 中有以下代码片段：

import pandas as pd
from pyspark import SparkContext, SparkConf
from pyspark.context import SparkContext
from pyspark.sql import Row, SQLContext, SparkSession
import pyspark.sql.dataframe

def validate_data():
    conf = SparkConf().setAppName("app")
    spark = SparkContext(conf=conf)
    config = {
    "val_path" : "s3://forecasting/data/validation.csv"
    }

    data1_df = spark.read.table("db1.data_dest”)
    data2_df = spark.read.table("db2.data_source”)
    print(data1_df.count())
    print(data2_df.count())


if __name__ == "__main__":
    validate_data()

现在，当运行在 sagemaker 上的 jupyter notebook 上（连接到 EMR）

时，这段代码可以正常工作

但是当我们运行在终端上作为python脚本运行时，它会抛出这个错误

错误信息

AttributeError: 'SparkContext' object has no attribute 'read'

我们必须使这些笔记本自动化，因此我们正在尝试将它们转换为 python 脚本

Answer 1

您只能在 Spark 会话中调用 read，而不能在 Spark 上下文中调用。

from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession

conf = SparkConf().setAppName("app")
spark = SparkSession.builder.config(conf=conf)

或者您可以将 Spark 上下文转换为 Spark 会话

conf = SparkConf().setAppName("app")
sc = SparkContext(conf=conf)
spark = SparkSession(sc)

尝试在 spark 中读取 athena table 时出错

getting error while trying to read athena table in spark

apache-spark

pyspark

amazon-emr

amazon-sagemaker