Kusto——生成数据差异/增量——

Question

我创建了一个自定义数据类型来存储外部产品的一些配置。因此，每天我都会将此特定产品/服务的配置（多行但具有相同的数据模型）发送到 Log Analytics 数据存储。

是否可以显示在多天之间添加或删除了哪些行？数据结构始终相同 f.e.

MyCustomData_CL |项目 Guid_g , Name_s, URL_s

我想看看在什么时候添加/删除了哪些记录。所以基本上每天都和前一天比较一下。

如何使用 Kusto 查询语言完成此操作？

此致，詹斯

Answer 1

下一个查询使用全外连接来比较两组（一组来自前一天，一组来自当天）。如果您的 table 中没有日期时间列，您可以尝试使用 ingestion_time() 函数（它显示时间数据被引入 table）。

let MyCustomData_CL =
datatable (dt:datetime,Guid_g:string , Name_s:string, URL_s:string)
[
datetime(2018-11-27), '111', 'name1', 'url1',
datetime(2018-11-27), '222', 'name2', 'url2',
//
datetime(2018-11-28), '222', 'name2', 'url2',
datetime(2018-11-28), '333', 'name3', 'url3',
];
let data_prev = MyCustomData_CL | where dt between( datetime(2018-11-27) .. (1d-1tick));
let data_new =  MyCustomData_CL | where dt between( datetime(2018-11-28) .. (1d-1tick));
data_prev 
| join kind=fullouter (data_new) on Guid_g , Name_s , URL_s
| extend diff=case(isnull(dt), 'Added', isnull(dt1), 'Removed', "No change")

结果：

dt         Guid_g Name_s URL_s dt1       Guid_g1 Name_s1 URL_s1 diff
2018-11-28 333    name3  url3                                   Added
2018-11-27 111    name1  url1                                   Removed
2018-11-27 222    name2  url2 2018-11-28 222    name2     url2  No change

Kusto——生成数据差异/增量——

Kusto -- generate data diff / delta --

azure-log-analytics

azure-data-explorer