Spark：将字符串转换为日期

Question

我正在使用 spark/scala 我有一个数据框。例如，有列 year/month/day 具有值。 2020/9/2。如何将列添加到转换为日期时间 (yyyy-mm-dd) 的同一数据框中？我找到了如何将日期从字符串格式转换为日期格式，但找不到如何组合值并将其转换为日期时间的解决方案。感谢您的任何建议或提示

Answer 1

您可以使用to_date函数。

val df1 = Seq(
  ("2020/9/2"),
  ("2020/9/15"),
  ("2020/9/30")
).toDF("str")
val df2 = df1.withColumn("dt", to_date(col("str"), "y/M/d"))
df2.show()

Answer 2

我做了一些测试，我想你可以用我的例子来转换日期。希望能帮到你。

package com.jackpan.spark.examples

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types._
import org.apache.spark.sql.functions._
object SomeExamples {


  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder()
      .appName("SomeExamples")
      .getOrCreate()

    val dataDF = spark.createDataFrame(Seq(("2022", "12", "09"), ("2022", "12", "19"),
      ("2022", "12", "15"))).toDF("year", "month", "day")

    dataDF.withColumn("dateStr",
      concat(col("year"), lit("-"),col("month"), lit("-"), col("day")))
      .withColumn("date", to_date(col("dateStr"), "yyyy-MM-dd"))
      .show(false)


  }
}

这个函数的显示结果如下：

+----+-----+---+----------+----------+
|year|month|day|dateStr   |date      |
+----+-----+---+----------+----------+
|2022|12   |09 |2022-12-09|2022-12-09|
|2022|12   |19 |2022-12-19|2022-12-19|
|2022|12   |15 |2022-12-15|2022-12-15|
+----+-----+---+----------+----------+

Spark：将字符串转换为日期

Spark: convert string to Date

dataframe

scala

apache-spark

datetime