Bigquery 中的重复分区 Table
Duplicates in Bigquery partitioned Table
我发现数据有问题,我正在尝试查找插入不同日期分区的重复数据,现在我想保留较早日期的数据并删除最新摄取的数据。
例如:-
在屏幕截图中,您看到两行中的数据相同,但由于某些问题,相同的数据也插入了 2021-04-28,现在我想删除 2021-04-28 分区中的所有此类记录.并保留04-27的数据和04-28的实际行。
有人可以分享查询以查找这些重复项并查询以删除 2021-04-28 分区中的重复项。
下面是我为识别重复项而编写的查询,但看起来并不完全正确。
select grp_nbr,port_rgs_id,tranc_number,strt_tm,sqr_nbr,itm_nbr,trvl_dte from
(select grp_nbr,port_rgs_id,tranc_number,strt_tm,sqr_nbr,itm_nbr,trvl_sdte, row_number() over(partition by grp_nbr,port_rgs_id,tranc_number,strt_tm,sqr_nbr,itm_nbr,trvl_dte order by trvl_dte desc)rn from table_name)a where rn=1
您的查询是正确的。
以更易读的方式,它可以是:
SELECT * EXCEPT(rownum)
FROM (
SELECT
*,
ROW_NUMBER() OVER (PARTITION BY grp_nbr,port_rgs_id,tranc_number,strt_tm,sqr_nbr,itm_nbr ORDER BY trvl_dte ) rownum
FROM `yourtable`
)
WHERE rownum = 1
编辑:trvl_dte 列不应包含在 PARTITION BY 语句中。另外,由于您想保留最早的 trvl_dte,因此您需要按 trvl_dte ASC 而不是 DESC 进行排序。
我发现数据有问题,我正在尝试查找插入不同日期分区的重复数据,现在我想保留较早日期的数据并删除最新摄取的数据。
例如:-
在屏幕截图中,您看到两行中的数据相同,但由于某些问题,相同的数据也插入了 2021-04-28,现在我想删除 2021-04-28 分区中的所有此类记录.并保留04-27的数据和04-28的实际行。
有人可以分享查询以查找这些重复项并查询以删除 2021-04-28 分区中的重复项。
下面是我为识别重复项而编写的查询,但看起来并不完全正确。
select grp_nbr,port_rgs_id,tranc_number,strt_tm,sqr_nbr,itm_nbr,trvl_dte from
(select grp_nbr,port_rgs_id,tranc_number,strt_tm,sqr_nbr,itm_nbr,trvl_sdte, row_number() over(partition by grp_nbr,port_rgs_id,tranc_number,strt_tm,sqr_nbr,itm_nbr,trvl_dte order by trvl_dte desc)rn from table_name)a where rn=1
您的查询是正确的。 以更易读的方式,它可以是:
SELECT * EXCEPT(rownum)
FROM (
SELECT
*,
ROW_NUMBER() OVER (PARTITION BY grp_nbr,port_rgs_id,tranc_number,strt_tm,sqr_nbr,itm_nbr ORDER BY trvl_dte ) rownum
FROM `yourtable`
)
WHERE rownum = 1
编辑:trvl_dte 列不应包含在 PARTITION BY 语句中。另外,由于您想保留最早的 trvl_dte,因此您需要按 trvl_dte ASC 而不是 DESC 进行排序。