如何检查 DateType 列的值是否在指定日期范围内？

Question

因此，我在 Spark 中使用 Amazon Deequ，并且我有一个数据框 df，其列 publish_date 的类型为 DateType。我只想检查以下内容：

publish_date <= current_date(minus)x AND publish_date >= current_date(minus)y

其中 x 和 y 是整数。

我不确定要在这里放什么支票：

val verificationResult: VerificationResult = { VerificationSuite()
      .onData(df)
      .addCheck(
        Check(CheckLevel.Error, "Review Check")
          //function to check this
      )
      .run()
}

Answer 1

您可以使用这个 Spark SQL 表达式：

publish_date <= date_sub(current_date(), x) AND publish_date >= date_sub(current_date(), y)

使用 Check 的 satisfies 方法：

val verificationResult: VerificationResult = { VerificationSuite()
      .onData(df)
      .addCheck(
        Check(CheckLevel.Error, "Review Check")
          .satisfies(
            s"publish_date <= date_sub(current_date(), $x) AND publish_date >= date_sub(current_date(), $y)",
            "check constraint name/description"
        )
      )
      .run()
}

或使用between:

publish_date between date_sub(current_date(), y) and date_sub(current_date(), x)

如何检查 DateType 列的值是否在指定日期范围内？

How to check if values of a DateType column are within a range of specified dates?

scala

dataframe

apache-spark

amazon-deequ