Spark 2.0：绝对 URI 中的相对路径（spark-warehouse）

Question

我正在尝试从 Spark 1.6.1 迁移到 Spark 2.0.0，但在尝试将 csv 文件读入 SparkSQL 时出现奇怪的错误。以前，当我在 pyspark 中从本地磁盘读取文件时，我会这样做：

Spark 1.6

df = sqlContext.read \
        .format('com.databricks.spark.csv') \
        .option('header', 'true') \
        .load('file:///C:/path/to/my/file.csv', schema=mySchema)

在最新版本中，我认为它应该是这样的：

Spark 2.0

spark = SparkSession.builder \
           .master('local[*]') \
           .appName('My App') \
           .getOrCreate()

df = spark.read \
        .format('csv') \
        .option('header', 'true') \
        .load('file:///C:/path/to/my/file.csv', schema=mySchema)

但是无论我尝试用多少种不同的方式调整路径，我都会收到此错误:

IllegalArgumentException: 'java.net.URISyntaxException: Relative path in 
absolute URI: file:/C:/path//to/my/file/spark-warehouse'

不确定这只是 Windows 的问题还是我遗漏了什么。我很高兴 spark-csv 包现在是 Spark 的一部分，开箱即用，但我似乎无法再让它读取我的任何本地文件了。有什么想法吗？

Answer 1

我能够在最新的 Spark 文档中进行一些挖掘，我注意到它们有一个我以前没有注意到的新配置设置：

spark.sql.warehouse.dir

所以我在设置 SparkSession 时继续添加了这个设置：

spark = SparkSession.builder \
           .master('local[*]') \
           .appName('My App') \
           .config('spark.sql.warehouse.dir', 'file:///C:/path/to/my/') \
           .getOrCreate()

这似乎设置了工作目录，然后我可以直接将我的文件名输入 csv reader:

df = spark.read \
        .format('csv') \
        .option('header', 'true') \
        .load('file.csv', schema=mySchema)

一旦我设置了 spark 仓库，Spark 就能够找到我的所有文件并且我的应用程序现在成功完成。令人惊奇的是，它的运行速度比 Spark 1.6 快了大约 20 倍。所以他们确实做了一些非常令人印象深刻的工作来优化他们的 SQL 引擎。点燃它！

Spark 2.0：绝对 URI 中的相对路径（spark-warehouse）

Spark 2.0: Relative path in absolute URI (spark-warehouse)

windows

apache-spark

apache-spark-sql

pyspark

pyspark-sql