Scala spark 数据框保持前导零

Question

我正在阅读以下 csv 文件：

id,hit,name
0001,00000,foo
0002,00001,bar
0003,00150,toto

作为带有 SqlContext 的 spark Dataframe，输出为：

+--+---+----+
|id|hit|name|
+--+---+----+
|1 |0  |foo |
|2 |1  |bar |
|3 |150|toto|
+--+---+----+

我需要在 Dataframe 中保留前导零。我尝试将选项 "allowNumericLeadingZeros" 设置为 true，但它不起作用。我看到一些帖子说这是一个 excel 问题，但我的问题是数据框内的前导零被删除。

如何在 Dataframe 中保留前导零？

谢谢！

Answer 1

您必须在读取数据帧时将 InferSchema 设置为 true，删除此选项或将其设置为 false

sparkSession.read.option("header","true").option("inferSchema","false").csv("path")

通过这个选项，Spark推断出dataframe的schema并根据找到的值设置dataType，所以spark基本上是推断出id和hits 列本质上是数字，因此它会删除所有前导零。

如需进一步帮助，请查看 this

Answer 2

public 数据集 csv（字符串...路径）

加载一个 CSV 文件，returns 将结果作为 DataFrame。如果启用了 inferSchema，此函数将检查一次输入以确定输入模式。为避免一次遍历整个数据，请禁用 inferSchema 选项或使用 schema 明确指定模式。

您可以设置以下 CSV 特定选项来处理 CSV 文件：

sep（默认，）：将单个字符设置为每个字段和值的分隔符。
编码（默认UTF-8）：按给定的编码类型解码CSV文件。
quote（默认"）：设置用于转义引号值的单个字符，其中分隔符可以是值的一部分。如果您想关闭引号，则需要设置 not null但是一个空字符串。此行为与 com.databricks.spark.csv.
escape（默认值）：设置用于在已引用值内转义引号的单个字符。
comment（默认为空字符串）：设置用于跳过以该字符开头的行的单个字符。默认情况下，它是禁用的。
header（默认为false）：使用第一行作为列名。
inferSchema（默认为 false）：从数据中自动推断输入模式。它需要额外传递一次数据。

ignoreLeadingWhiteSpace (default false): defines whether or not leading whitespaces from values being read should be skipped.

ignoreTrailingWhiteSpace（默认为 false）：定义是否应跳过正在读取的值中的尾随空格。
nullValue（默认空字符串）：设置空值的字符串表示形式。从 2.0.1 开始，这适用于所有支持的类型，包括字符串类型。
nanValue（默认为 NaN）：设置非数字值的字符串表示形式。 positiveInf（默认 Inf）：设置正无穷大值的字符串表示形式。
negativeInf（默认 -Inf）：设置负无穷大值的字符串表示形式。
dateFormat（默认yyyy-MM-dd）：设置表示日期格式的字符串。自定义日期格式遵循 java.text.SimpleDateFormat 中的格式。这适用于日期类型。
timestampFormat（默认yyyy-MM-dd'T'HH:mm:ss.SSSZZ）：设置表示时间戳格式的字符串。自定义日期格式遵循 java.text.SimpleDateFormat 中的格式。这适用于时间戳类型。
java.sql.Timestamp.valueOf() 和 java.sql.Date.valueOf() 或 ISO 8601 格式。 maxColumns（默认 20480）：定义一个记录可以有多少列的硬限制。
maxCharsPerColumn（默认值 1000000）：定义允许读取的任何给定值的最大字符数。
maxMalformedLogPerPartition（默认为 10）：设置 Spark 将为每个分区记录的最大格式错误行数。超过此数量的畸形记录将被忽略。
mode (default PERMISSIVE): 允许在解析过程中处理损坏记录的模式。
PERMISSIVE ：遇到损坏的记录时将其他字段设置为空。当用户设置模式时，它会为额外的字段设置 null。
DROPMALFORMED ：忽略整个损坏的记录。 FAILFAST : 遇到损坏的记录时抛出异常。

参数：

路径 -（未记录）

Returns: （未记录）自从： 2.0.0

https://spark.apache.org/docs/2.0.1/api/java/org/apache/spark/sql/DataFrameReader.html

示例：

val dataframe= sqlContext.read
    .format("com.databricks.spark.csv")
    .option("header", "true") // Use first line of all files as header
    .option("inferSchema", "true") // Automatically infer data types
    .load("/FileStore/tables/1wmfde6o1508943117023/Book2.csv")

val selectedData = dataframe.select("id","hit","name")

结果：

+---+---+----+
| id|hit|name|
+---+---+----+
|  1|  0| foo|
|  2|  1| bar|
|  3|150|toto|
+---+---+----+

现在更改.option("inferSchema", "false")

val dataframe= sqlContext.read
    .format("com.databricks.spark.csv")
    .option("header", "true") // Use first line of all files as header
    .option("inferSchema", "false") // Automatically infer data types
    .load("/FileStore/tables/1wmfde6o1508943117023/Book2.csv")

val selectedData = dataframe.select("id","hit","name")

结果：

+----+-----+----+
|  id|  hit|name|
+----+-----+----+
|0001|00000| foo|
|0002|00001| bar|
|0003|00150|toto|
+----+-----+----+

Answer 3

我建议您为 dataframe 创建一个 schema 并将类型定义为 String。

您可以将 schema 创建为

import org.apache.spark.sql.types._
val schema = StructType(Seq(StructField("id", StringType, true), StructField("hit", StringType, true), StructField("name", StringType, true)))

并在 sqlContext 中用作

val df = sqlContext.read.option("header", true).schema(schema).format("com.databricks.spark.csv")
  .csv("path to csv file")

正如其他人回答您的那样，真正的罪魁祸首是您可能正在使用 .option("inferSchema", true)，它将 id 和 hit 列作为 integer 并前导 0s 被删除。

因此您可以在没有 .option("inferSchema", true) 或 schema 的情况下读取 csv 文件，如上定义

希望回答对你有帮助

Scala spark 数据框保持前导零

Scala spark dataframe keep leading zeroes

scala

zero

dataframe

apache-spark