BigQuery 中交叉连接后的行聚合
Row Aggregation after Cross Join in BigQuery
假设您在 BigQuery 中有以下 table:
A = user1 | 0 0 |
user2 | 0 3 |
user3 | 4 0 |
交叉连接后,您有
dist = |user1 user2 0 0 , 0 3 | #comma is just showing user val seperation
|user1 user3 0 0 , 4 0 |
|user2 user3 0 3 , 4 0 |
如何在 BigQuery 中执行行聚合来计算跨行的成对聚合。作为一个典型的用例,您可以计算两个用户之间的欧氏距离。我想计算两个用户之间的以下指标:
sum(min(user1_row[i], user2_row[i]) / abs(user1_row[i] - user2_row[i]))
对每对用户的所有 i 求和。
例如,在 Python 中,您只需:
for i in np.arange(row_length/2)]):
dist.append([user1, user2, np.sum(min(r1[i], r2[i]) / abs(r1[i] - r2[i]))])
首先从丑陋的方式开始:您可以将数学运算扁平化到查询中。也就是说,转
for i in ... sum(min(...)/abs(...))
转换为 SQL 对每个字段进行操作。请注意,MIN
和 SUM
是您不想使用的聚合函数。而是对 SUM 使用 +
,对 MIN
使用 IF(a < b, a, b)
。 ABS(a, b)
看起来像 IF(a < b, b-a, a-b)
。如果你只是计算欧几里得距离,你可以这样做
SELECT left.user, right.user,
SQRT((left.x-right.x)*(left.x-right.x)
+ (left.y-right.y)*(left.y-right.y)
+ (left.z-right.z)*(left.z-right.z)) as dist
FROM (
SELECT *
FROM dataset.table1 AS left
CROSS JOIN dataset.table1 AS right)
更好的方法是用户定义的函数,并将向量创建为重复值。然后,您可以编写一个 DISTANCE()
函数,对交叉连接左侧和右侧的两个数组执行计算。如果您不在 UDF 测试计划中但想加入,请联系 google 云支持。
最后,如果您将架构从 {user:string, field1:float, field2:float, field3:float,...}
更改为 {user:string, fields:[field:float]}
然后您可以将字段与位置展平并对其进行交叉连接。如:
SELECT
user,
field,
index,
FROM (FLATTEN((
SELECT
user,
fields.field as field,
POSITION(fields.field) as index,
from [dataset1.table1]
), fields))
如果将其另存为视图,请将其命名为 "dataset1.flat_view"
然后你就可以加入了:
SELECT left.user as user1, right.user as user2,
left.field as l, right.field as r,
FROM dataset1.flat_view left
JOIN dataset1.flat_view right
ON left.index = right.index
WHERE left.user != right.user
这将为每对用户和每个字段匹配字段提供一行。您可以将其另存为视图 "dataset1.joined_view".
最后,您可以进行汇总:
既然你想要这个:
sum(min(user1_row[i], user2_row[i]) / abs(user1_row[i] - user2_row[i]))
看起来像:
SELECT user1, user2,
SUM((if (l < r, l, r)) / (if (l > r, l-r, r-l))
FROM [dataset1.joined_view]
GROUP EACH BY user1, user2
假设您在 BigQuery 中有以下 table:
A = user1 | 0 0 |
user2 | 0 3 |
user3 | 4 0 |
交叉连接后,您有
dist = |user1 user2 0 0 , 0 3 | #comma is just showing user val seperation
|user1 user3 0 0 , 4 0 |
|user2 user3 0 3 , 4 0 |
如何在 BigQuery 中执行行聚合来计算跨行的成对聚合。作为一个典型的用例,您可以计算两个用户之间的欧氏距离。我想计算两个用户之间的以下指标:
sum(min(user1_row[i], user2_row[i]) / abs(user1_row[i] - user2_row[i]))
对每对用户的所有 i 求和。
例如,在 Python 中,您只需:
for i in np.arange(row_length/2)]):
dist.append([user1, user2, np.sum(min(r1[i], r2[i]) / abs(r1[i] - r2[i]))])
首先从丑陋的方式开始:您可以将数学运算扁平化到查询中。也就是说,转
for i in ... sum(min(...)/abs(...))
转换为 SQL 对每个字段进行操作。请注意,MIN
和 SUM
是您不想使用的聚合函数。而是对 SUM 使用 +
,对 MIN
使用 IF(a < b, a, b)
。 ABS(a, b)
看起来像 IF(a < b, b-a, a-b)
。如果你只是计算欧几里得距离,你可以这样做
SELECT left.user, right.user,
SQRT((left.x-right.x)*(left.x-right.x)
+ (left.y-right.y)*(left.y-right.y)
+ (left.z-right.z)*(left.z-right.z)) as dist
FROM (
SELECT *
FROM dataset.table1 AS left
CROSS JOIN dataset.table1 AS right)
更好的方法是用户定义的函数,并将向量创建为重复值。然后,您可以编写一个 DISTANCE()
函数,对交叉连接左侧和右侧的两个数组执行计算。如果您不在 UDF 测试计划中但想加入,请联系 google 云支持。
最后,如果您将架构从 {user:string, field1:float, field2:float, field3:float,...}
更改为 {user:string, fields:[field:float]}
然后您可以将字段与位置展平并对其进行交叉连接。如:
SELECT
user,
field,
index,
FROM (FLATTEN((
SELECT
user,
fields.field as field,
POSITION(fields.field) as index,
from [dataset1.table1]
), fields))
如果将其另存为视图,请将其命名为 "dataset1.flat_view"
然后你就可以加入了:
SELECT left.user as user1, right.user as user2,
left.field as l, right.field as r,
FROM dataset1.flat_view left
JOIN dataset1.flat_view right
ON left.index = right.index
WHERE left.user != right.user
这将为每对用户和每个字段匹配字段提供一行。您可以将其另存为视图 "dataset1.joined_view".
最后,您可以进行汇总:
既然你想要这个:
sum(min(user1_row[i], user2_row[i]) / abs(user1_row[i] - user2_row[i]))
看起来像:
SELECT user1, user2,
SUM((if (l < r, l, r)) / (if (l > r, l-r, r-l))
FROM [dataset1.joined_view]
GROUP EACH BY user1, user2