在 Scala 中，如何在开始日期和结束日期之间创建一列包含每月日期的日期数组？

Question

在 Spark Scala 中，我试图创建一个列，其中包含开始日期和结束日期（含）之间的每月日期数组。

例如，如果我们有 2018-02-07 和 2018-04-28，则数组应包含 [2018-02-01, 2018-03-01, 2018-04-01].

除了月刊我还想做季刊，即[2018-1, 2018-2].

示例输入数据：

id startDate endDate
1_1 2018-02-07 2018-04-28
1_2 2018-05-06 2018-05-31
2_1 2017-04-13 2017-04-14

预期（每月）产出 1：

id startDate endDate dateRange
1_1 2018-02-07 2018-04-28 [2018-02-01, 2018-03-01, 2018-04-01]
1_1 2018-05-06 2018-05-31 [2018-05-01]
2_1 2017-04-13 2017-04-14 [2017-04-01]

最终预期（每月）产出 2：

id Date
1_1 2018-02-01 
1_1 2018-03-01
1_1 2018-04-01
1_2 2018-05-01
2_1 2017-04-01

我有 spark 2.1.0.167、Scala 2.10.6 和 JavaHotSpot 1.8。0_172。

我已尝试在此处针对类似（日级）问题实施多个答案，但我正在努力让 monthly/quarterly 版本正常工作。

下面从 start 和 endDate 创建一个数组并将其展开。但是我需要展开一个列，其中包含中间的所有每月（每季度）日期。

val df1 = df.select($"id", $"startDate", $"endDate").
// This just creates an array of start and end Date
withColumn("start_end_array"), array($"startDate", $"endDate").
withColumn("start_end_array"), explode($"start_end_array"))

感谢您提供任何线索。

Answer 1

case class MyData(id: String, startDate: String, endDate: String, list: List[String])
val inputData = Seq(("1_1", "2018-02-07", "2018-04-28"), ("1_2", "2018-05-06", "2018-05-31"), ("2_2", "2017-04-13", "2017-04-14"))
inputData.map(x => {
  import java.time.temporal._
  import java.time._
  val startDate = LocalDate.parse(x._2)
  val endDate = LocalDate.parse(x._3)
  val diff = ChronoUnit.MONTHS.between(startDate, endDate)
  var result = List[String]();
  for (index <- 0 to diff.toInt) {
    result = (startDate.getYear + "-" + (startDate.getMonth.getValue + index) + "-01") :: result
  }
  new MyData(x._1, x._2, x._3, result)
}).foreach(println)

在 Scala 中，如何在开始日期和结束日期之间创建一列包含每月日期的日期数组？

In Scala, how do I create a column of date arrays of monthly dates between a start and end date?

java

scala

apache-spark

explode

date-range