Snowflake - 比较 2 个表并发送不匹配的通知

Question

我正在寻找从 snowflake 或 aws 端或使用 python 或 scala 通过胶水作业/lambda 函数设置警报通知。

我想比较 2 tables，其中包含 table 个名称以及源和目标中的计数。

数据通过 aws glue 作业从 s3 加载到雪花，之后我想比较 2 tables 以验证源和目标记录计数是否匹配，如果不匹配则发送通知。

请让我知道您为完成此任务所做的投入。

谢谢， 乔

Answer 1

如果您使用 AWS Glue 在 Snowflake 中加载 tables，您可以继续使用 Glue 来编排所需的结果：

• 让 Glue 加载 table。
• 在 Snowflake 中使用 Glue 运行 存储过程比较两个 table。
  • https://snowflakecommunity.force.com/s/article/How-to-Use-AWS-Glue-to-Call-Procedures-in-Snowflake
• 让 AWS Glue 通过 SNS 发送通知。
  • https://aws.amazon.com/blogs/big-data/build-and-automate-a-serverless-data-lake-using-an-aws-glue-trigger-for-the-data-catalog-and-etl-jobs/
  • 请参阅“使用 Amazon CloudWatch Events 进行监控和通知”一章。

如果你需要SQL比较两个table的存储过程，请随时添加新问题。