无法将 CSV 文件加载为 spark 中的数据框

Question

我正在尝试在数据框中加载 CSV 文件，我的 objective 是将第一行显示为 CSV 文件的列名。但是在使用以下代码时，出现错误

Exception in thread "main" java.lang.AbstractMethodError
    at scala.collection.TraversableLike$class.filterNot(TraversableLike.scala:278)

代码：

def main(args : Array[String]): Unit = {
 val spark : SparkSession = SparkSession
      .builder()
      .master("local")
      .appName("SparkSessioncsvExample")
      .config("spark.some.config.option", "some-value")
      .getOrCreate()
   val df = spark.read
      .format("csv")
      .option("header", "true") //reading the headers
      .load("D:/Scala/C2ImportCalEventSample.csv")}

但我可以使用以下代码加载文件：

val df = spark.sparkContext
        .textFile("D:/Scala/C2ImportCalEventSample1.csv")
        //.flatMap(header='true')
        .map(line => line.split(","))
        // .map(line => line.map()
        .toDF()

但在第二个代码文件中已成功加载，但第一行未作为数据帧的 column_name。

spark version is: spark-2.3.2  
scala 2.11.3  
jdk1.8.0_20
sbt-1.2.7

感谢任何可以帮助我的人。

Answer 1

java.lang.AbstractMethodError 几乎总是意味着类路径上的库与编译时不同。在这种情况下，我会检查以确保您在类路径上有正确版本的 Scala（并且只有一个版本的 Scala）。

无法将 CSV 文件加载为 spark 中的数据框

Unable load a CSV file as dataframe in spark

apache-spark-sql

apache-spark-dataset