对流数据使用高期望

Question

我对测试流数据寄予厚望（我将样本收集到一个批次中并测试该批次）。问题是我无法使用这些文档，因为这将导致生成 html 页中的 1000 页中的 100 页。我想做的是在单击特定测试结果时（通过索引页面）使用我的 api 生成从 json 结果请求的页面。伟大的期望是否只能产生1个html，关闭时可以处理掉？

Answer 1

如果您使用的是 ValidationOperator/检查点，则使用 UpdateDataDocsAction 操作仅支持构建在运行中验证的资源，这是推荐的方法。

如果您直接与 DataContext API 交互，则 DataContext 上的 build_data_docs 方法支持资源标识符选项，您可以使用该选项请求仅构建单个资产。我认为要获得您正在寻找的行为（仅该页面的真正短暂构建），您需要将其与临时位置站点的站点配置配对，例如/tmp.

build_data_docs 方法的文档在这里： https://docs.greatexpectations.io/en/latest/autoapi/great_expectations/data_context/data_context/index.html#great_expectations.data_context.data_context.BaseDataContext.build_data_docs

请注意 resource_identifiers 参数需要，例如一个 ValidationResultIdentifier 对象，例如：

context.build_data_docs("local_site", resource_identifiers=[ValidationResultIdentifier(
    run_id="20201203T182816.362147Z",
    expectation_suite_identifier=ExpectationSuiteIdentifier("foo"),
    batch_identifier="b739515cf1c461d67b4e56d27f3bfd02",
)])

对流数据使用高期望

Using great expectations with streamed data

great-expectations