如何计算 R 中具有 disk.frame 的唯一实体？

Question

我想将数据帧转换为磁盘帧，然后计算第一列。当我尝试时，它不计算列的唯一值的数量。好像在统计工人的数量。

library(disk.frame)
options(future.globals.maxSize = Inf)
setup_disk.frame(workers = 8)

这是一个示例数据集

    bigint <- sample(123901239804:901283455390, 3*10^5)
    df <- data.frame(bigint)
    df %>% 
      summarize(ints = length(unique(bigint)))
    
    df %>% 
      as.disk.frame %>%
      summarize(ints = length(bigint)) %>% 
      collect

在第一个查询中，它得到了这个输出

    ints
1 300000

在第二个查询中，它得到了这个输出

    ints
1      8

Answer 1

{disk.frame} 仅支持部分 group-by 功能。您可以使用 dplyr::n_distinct

df %>% 
  as.disk.frame %>%
  summarize(ints = n_distinct(bigint)) %>% 
  collect

产生

    ints
1 300000

在此处查看支持的 group-by 动词列表 https://diskframe.com/articles/10-group-by.html#list-of-supported-group-by-functions

您可以按照本指南定义更多自定义 group-by 动词

https://diskframe.com/articles/11-custom-group-by.html

由于 disk.frame 的 chunking-nature，某些 groups-by 动词不可能以精确的方式完成（并且必须依赖估计）。但所有“大”数据系统都是如此。

如何计算 R 中具有 disk.frame 的唯一实体？

How do count unique entities with disk.frame in R?

r

disk.frame