在 SparkR 中更改 spark dataframe 列的数据类型

Question

我有一个 spark 数据框。

root
 |-- col1: string (nullable = true)
 |-- Id: string (nullable = true)
 |-- col2: string (nullable = true)
 |-- col3: string (nullable = true)
 |-- col4: string (nullable = true)
 |-- date1: string (nullable = true)
 |-- col5: string (nullable = true)
 |-- date2: string (nullable = true)

我只想将 date2 列转换为日期。我使用下面的代码来做到这一点

to_date(myDF$date2)

但数据帧保持不变。 date2 数据类型没有变化。

如何将列 date2 更改为日期数据类型？

Answer 1

myDF <- withColumn(myDF, "date2", cast(myDF$date2, "date"))

有关最新版本（撰写本文时为 2.0.1），请参阅 SparkR 文档中的这些页面：

• SparkR: cast
• SparkR: withColumn

转换不会更改现有的数据框，因此您需要创建一个新的数据框或用新转换的列替换现有的数据框来替换同名的旧列。