Deequ 检查的结果数据框的列表示什么？

Question

所以，我运行在 Spark 中进行了一个简单的 Deequ 检查，结果是这样的：

val verificationResult: VerificationResult = { VerificationSuite()
  .onData(dataset)
  .addCheck(
    Check(CheckLevel.Error, "Review Check")
      .isComplete("col1")
      .isUnique("col2")
      .hasSize(_ == count_date)
      .satisfies(
          "abs(col4 - col5) <= 0.20 * col5",
          "value(col4) lies between value(col5)-20% and value(col5)+20%"
    )
  .run()
}

val result1 = checkResultsAsDataFrame(spark, verificationResult)

现在，我的 result1 数据框看起来像这样：

+------------+-----------+------------+--------------------+-----------------+--------------------+
|       check|check_level|check_status|          constraint|constraint_status|  constraint_message|
+------------+-----------+------------+--------------------+-----------------+--------------------+
|Review Check|      Error|       Error|CompletenessConst...|          Success|                    |
|Review Check|      Error|       Error|UniquenessConstra...|          Failure|Value: 7.62664794...|
|Review Check|      Error|       Error|SizeConstraint(Si...|          Success|                    |
|Review Check|      Error|     Success|ComplianceConstra...|          Success|                    |
+------------+-----------+------------+--------------------+-----------------+--------------------+

我对 check_status 和 constraint_status 列感到困惑。它们有何不同？我的检查结果应该是后一个吧？那么前者是什么意思呢？

我在 deequ blog 中也找不到关于此的任何说明。有人可以解释一下吗？

Answer 1

check_status 是您运行 Check 组的总体状态。这取决于 CheckLevel 和约束状态。如果您查看 code :

val anyFailures = constraintResults.exists { _.status == ConstraintStatus.Failure }

val checkStatus = (anyFailures, level) match {
  case (true, CheckLevel.Error) => CheckStatus.Error
  case (true, CheckLevel.Warning) => CheckStatus.Warning
  case (_, _) => CheckStatus.Success
}

如果约束中有任何失败，则 check_status = CheckLevel。否则就成功了。

Deequ 检查的结果数据框的列表示什么？

What do the result dataframe's columns of a Deequ check signify?

scala

dataframe

apache-spark

amazon-deequ