如何正确分隔列

Question

我在使用 Spark SQL 时遇到问题。我试图将 CSV 文件导入 spark DB。我的列由分号分隔。我试图通过使用 sep 来分隔列，但令我沮丧的是，列没有正确分隔。

这就是 Spark SQL 的工作方式吗？传统的 Spark SQL 和 DataBricks 中的有区别吗？我是 SparkSQL 的新手，这是一个来自原始 SQL 语言的全新环境，请原谅我对 SparkSQL.

的了解

USE CarSalesP1935727;
CREATE TABLE IF NOT EXISTS Products
USING CSV
OPTIONS (path "/FileStore/tables/Products.csv", header "true", inferSchema
"true", sep ";");

SELECT * FROM Products LIMIT 10

Answer 1

不确定问题，工作正常-

Please note that the env is not databricks

  val path = getClass.getResource("/csv/test2.txt").getPath
    println(path)

    /**
      * file data
      * -----------
      * id;sequence;sequence
      * 1;657985;657985
      * 2;689654;685485
      */
    spark.sql(
      s"""
        |CREATE TABLE IF NOT EXISTS Products
        |USING CSV
        |OPTIONS (path "$path", header "true", inferSchema
        |"true", sep ";")
      """.stripMargin)

    spark.sql("select * from Products").show(false)
    /**
      * +---+---------+---------+
      * |id |sequence1|sequence2|
      * +---+---------+---------+
      * |1  |657985   |657985   |
      * |2  |689654   |685485   |
      * +---+---------+---------+
      */

如何正确分隔列

How to properly separate columns

apache-spark

delimiter

databricks