Spark 读取 CSV 相对路径

Question

如何使用相对路径将 CSV 文件读入 spark？到目前为止，使用绝对路径工作得很好（1.6.2、2.0.1），但我需要通过相对路径加载数据。

正在尝试像

一样读取文件

val mynewDf = spark.read
    .option("header", "true")
    .option("inferSchema", "true")
    .option("charset", "UTF-8")
    .option("delimiter", ";")
    .csv("~/myProject/someFolder/data.csv")

导致以下异常

Path does not exist: file:/Users/geoHeil/source/to/scala/sparkProject/~/myProject/someFolder/data.csv;

Answer 1

所以并不总是责怪火花 ;) 我决定使用普通 scala 来获取相对文件路径：

var path = "~/myProject/data/data.csv"
path = path.replaceFirst("^~", System.getProperty("user.home"))

Spark 读取 CSV 相对路径

Spark read CSV realtive path

csv

relative-path

apache-spark