Select 使用 Big Query 进行分组的第一行

Question

我在 BigQuery 中存储了超过 5 亿行，这些行基本上代表了设备在特定时间（不规则）的确切位置。

我正在尝试找到一种快速有效的方法来确定设备的第一个和最后一个位置。

到目前为止，我已将其与连接一起使用，但需要 10 多分钟才能完成（除非我只是限制查询）。我也尝试使用 dense_rank 查询，但我无法对计数进行排序（而且我并不完全理解它）。

我有一个 client_id、device_id（它是固定的，代表建筑物内的位置）和一个时间戳。

首先，我用 client_id 和 device_id 做了一个小组来验证我应该期待什么。然后我尝试使用最小和最大时间戳加入 table：

SELECT count(FirstSet.device_id), FirstSet.device_id
FROM
(
  SELECT client_id, device_id, created_at
  FROM [mytable.visitsv3]
  WHERE secret = 'xxx'
  GROUP each BY client_id, device_id, created_at
  ORDER BY client_id, created_at asc
  LIMIT 1000
) as FirstSet
inner join
(
  SELECT client_id, device_id, min(created_at)
  FROM [mytable.visitsv3]
  WHERE secret = 'xxx'
  GROUP each BY client_id, device_id, created_at
  LIMIT 1000
) SecondSet
on FirstSet.device_id = SecondSet.device_id
GROUP BY FirstSet.device_id
ORDER BY 1 DESC
limit 25

我是这个世界的新手，希望得到一些建议。正如我所说，它更多地与性能有关，因为我们需要运行实时查询。

有很多关于同一概念的教程 - 我只是希望有人可以帮助优化东西。

--- 编辑 ---

输出格式应如下所示：

|count|device_id|
-----------------
|10000|      123|
| 9000|      345|
|  800|      234|

--- 在上下文中 ---

我们正在尝试使用我们的数据集实现许多目标（当然不是在单个查询中）。其中：

创建最流行的进入点和退出点的热图。

最初这只需要是总计，但从长远来看，我们必须了解在一天中的特定时间哪些入口/出口点很忙。然后使用相关函数进行一些预测分析。

创建客户穿过建筑物的路径。

一旦我们有了入口点，我们就需要映射客户端所采用的路径。同样，我们需要预测每天/每小时的行为等。

最初，我们只需要最流行的入口/出口点。出于这个原因，我们将客户分组在一起，并对他们出现的设备进行了计数。

数据如下所示：

client_id,device_id,created_at,start,end,duration,lat,lng
F047CA72E,0013BA30,2015-06-22 10:00:32 UTC,2015-06-22 09:30:31 UTC,2015-06-22 09:30:32 UTC,1,XX,YY
F40D8632F,00A30E00,2015-06-22 10:00:29 UTC,2015-06-22 09:30:26 UTC,2015-06-22 09:30:26 UTC,0,XX,YY
B808AA3E0,00138B20,2015-06-22 10:00:27 UTC,2015-06-22 09:30:25 UTC,2015-06-22 09:30:25 UTC,0,XX,YY
A0E532E96,00A33600,2015-06-22 10:00:34 UTC,2015-06-22 09:30:24 UTC,2015-06-22 09:30:25 UTC,1,XX,YY
D4F6F8D50,00149150,2015-06-22 10:00:34 UTC,2015-06-22 09:30:22 UTC,2015-06-22 09:30:22 UTC,0,XX,YY
70124EB7E,00A350A0,2015-06-22 10:00:33 UTC,2015-06-22 09:30:14 UTC,2015-06-22 09:30:14 UTC,0,XX,YY
200AF2A9E,00149090,2015-06-22 10:00:33 UTC,2015-06-22 09:30:13 UTC,2015-06-22 09:30:12 UTC,0,XX,YY
20AE4884A,0013EFC0,2015-06-22 10:00:30 UTC,2015-06-22 09:30:13 UTC,2015-06-22 09:30:13 UTC,0,XX,YY
CCD9BB01C,0013EFC0,2015-06-22 10:00:30 UTC,2015-06-22 09:30:12 UTC,2015-06-22 09:30:06 UTC,0,XX,YY
8CCE1F24E,0004165E,2015-06-22 10:00:12 UTC,2015-06-22 09:30:12 UTC,2015-06-22 09:30:12 UTC,0,XX,YY

每台设备的客户端数量在某种程度上是无关紧要的，因为无论如何它都会针对热图进行标准化。我们只需要对它们进行排名，以便我们可以看到最受欢迎和最不受欢迎。

Answer 1

让我重述一下我对设置的理解： - 设备安装在整个建筑物的固定位置 - 客户（人）在经过设备附近时穿过建筑物，记录此事件 - client_id客户端通过device_id设备的时间记录在时间戳created_at

中

因此，给定客户的第一个 created_at 时间戳是她进入大楼的时间，相应的 device_id 将是一个入口点。要找到它，我们可以使用

select 
  client_id, 
  first_value(device_id) 
     over(partition by client_id order by created_at asc) 
  as entry_device_id

为了找到 10 个最受欢迎的条目，我们可以使用 TOP 和 COUNT(*)，即

select top(entry_device_id, 10), count(*)

综合起来：

select top(entry_device_id, 10), count(*) from (
  select 
    client_id, 
    first_value(device_id) 
       over(partition by client_id order by created_at asc) 
    as entry_device_id
  from [mytable.visitsv3]
)

与退出点相同，但这次我们将使用 last_value window 函数：

select top(exit_device_id, 10), count(*) from (
  select 
    client_id, 
    last_value(device_id) 
       over(partition by client_id order by created_at asc) 
    as exit_device_id
  from [mytable.visitsv3]
)

Select 使用 Big Query 进行分组的第一行

Select first row from group each by with count using Big Query

sql

greatest-n-per-group

google-bigquery