如何在 Deequ ColumnProfileRunner 中过滤具有列约束的行？
How to filter rows with column constraint in Deequ ColumnProfileRunner?
我是 Scala 和 Spark 的新手。我正在探索用于数据分析的 Amazon Deequ 库。
如何在使用 ColumnProfilerRunner() 时获取具有特定值的行数？
AnalysisRunner 有一个选项 "compliance" 我正在寻找一个类似的选项来过滤符合给定列约束的行。
我有多个列，因此我想动态检查而不是使用列名。
感谢任何帮助。
谢谢
Deequ 的列分析器计算一组固定的统计数据。如果您想计算数据的自定义统计信息，您应该使用 VerificationSuite。查看 deequ github 页面上的示例。
我是 Scala 和 Spark 的新手。我正在探索用于数据分析的 Amazon Deequ 库。
如何在使用 ColumnProfilerRunner() 时获取具有特定值的行数？
AnalysisRunner 有一个选项 "compliance" 我正在寻找一个类似的选项来过滤符合给定列约束的行。
我有多个列，因此我想动态检查而不是使用列名。
感谢任何帮助。
谢谢
Deequ 的列分析器计算一组固定的统计数据。如果您想计算数据的自定义统计信息，您应该使用 VerificationSuite。查看 deequ github 页面上的示例。