如何将 Great Expectations 结果从 Apache Spark 保存到文件 - 使用数据文档

Question

我已经成功创建了一个Great_Expectation结果，我想将期望的结果输出到一个html文件中。

很少有链接强调如何使用所谓的 'Data Docs' https://docs.greatexpectations.io/en/latest/guides/tutorials/getting_started/set_up_data_docs.html#tutorials-getting-started-set-up-data-docs

以人类可读的方式显示结果

但老实说，文档非常难以理解。

我的期望只是验证我的数据集中的乘客数量在 1 到 6 之间。我想帮助使用 'Data Docs' 将结果输出到文件夹，或者可以将数据输出到文件夹:

import great_expectations as ge
import great_expectations.dataset.sparkdf_dataset
from great_expectations.dataset.sparkdf_dataset import SparkDFDataset
from pyspark.sql.types import StructType, StructField, IntegerType, StringType, BooleanType
from great_expectations.data_asset import DataAsset

from great_expectations.data_context.types.base import DataContextConfig, DatasourceConfig, FilesystemStoreBackendDefaults
from great_expectations.data_context import BaseDataContext
from great_expectations.data_context.types.resource_identifiers import ValidationResultIdentifier
from datetime import datetime
from great_expectations.data_context import BaseDataContext


df_taxi = spark.read.csv('abfss://root@adlspretbiukadlsdev.dfs.core.windows.net/RAW/LANDING/yellow_trip_data_sample_2019-01.csv', inferSchema=True, header=True)

taxi_rides = SparkDFDataset(df_taxi)

taxi_rides.expect_column_value_lengths_to_be_between(column='passenger_count', min_value=1, max_value=6)

taxi_rides.save_expectation_suite()

代码是运行来自 Apache Spark。

如果有人能给我指出正确的方向，我就能弄清楚。

Answer 1

我已就此问题与 Great_Expectations 的开发人员联系。他们告诉我数据文档目前不适用于 Azure Synapse 或 Databricks。

Answer 2

您可以在 Databricks 上可视化数据文档 - 您只需要使用 correct renderer 结合 DefaultJinjaPageView 将其呈现为 HTML，其结果可以用 [=15] 显示=].我们需要导入必要的 classes/functions:

import great_expectations as ge
from great_expectations.profile.basic_dataset_profiler import BasicDatasetProfiler
from great_expectations.dataset.sparkdf_dataset import SparkDFDataset
from great_expectations.render.renderer import *
from great_expectations.render.view import DefaultJinjaPageView

要查看分析结果，我们需要使用 ProfilingResultsPageRenderer:

expectation_suite, validation_result = BasicDatasetProfiler.profile(SparkDFDataset(df))
document_model = ProfilingResultsPageRenderer().render(validation_result)
displayHTML(DefaultJinjaPageView().render(document_model))

它将显示如下内容：

我们可以使用 ValidationResultsPageRenderer:

可视化验证结果

gdf = SparkDFDataset(df)
gdf.expect_column_values_to_be_of_type("county", "StringType")
gdf.expect_column_values_to_be_between("cases", 0, 1000)
validation_result = gdf.validate()
document_model = ValidationResultsPageRenderer().render(validation_result)
displayHTML(DefaultJinjaPageView().render(document_model))

它将显示如下内容：

或者我们可以使用 ExpectationSuitePageRenderer:

渲染期望套件本身

gdf = SparkDFDataset(df)
gdf.expect_column_values_to_be_of_type("county", "StringType")
document_model = ExpectationSuitePageRenderer().render(gdf.get_expectation_suite())
displayHTML(DefaultJinjaPageView().render(document_model))

它将显示如下内容：

如果您不使用 Databricks，那么您可以将数据渲染到 HTML 中并将其存储为文件存储在某处

如何将 Great Expectations 结果从 Apache Spark 保存到文件 - 使用数据文档

How to Save Great Expectations results to File From Apache Spark - With Data Docs

apache-spark

pyspark

great-expectations