旋转大型数据集

Question

我有一个看起来有点像这样的 csv（为便于阅读而添加的标签）：

Dimension,    Date,    Metric
A,            Mon,     23
A,            Tues,    25
B,            Mon,     7
B,            Tues,    9

我想运行一些距离 + hclust 分析，我以前做过。但我喜欢（也许需要）这种格式：

Dimension,    Mon,    Tues
A,            23,     25
B,            7,      9

我可以在 Excel 中使用枢轴轻松完成此操作。问题是我有大约 10,000 个维度和大约 1,200 个日期 - 所以源 CSV 大约有 1200 万行乘以 3 列。我想要 ~10,000 行乘以~1,200 列。

有什么方法可以在 R 中进行此转换？执行此操作的 Python 小脚本的逻辑很简单，但我不确定它如何处理如此大的 CSV - 我无法想象这是一个新问题。不想重新发明轮子！

感谢任何提示:)

Answer 1

试一试：

library(data.table)
dt = data.table(Dimension=rep(letters[1:2], each=2), Date=c('Mon','Tues'), Metric=c(23,25,7,9))

dcast(dt, Dimension~Date)
#  Dimension Mon Tues
#1         a  23   25
#2         b   7    9

Answer 2

或者只是一个 spread:

library(tidyr)
spread(df, Date, Metric)
  Dimension Mon Tues
1         a  23   25
2         b   7    9

基准

 library(microbenchmark)
 microbenchmark(spread(df, Date, Metric))
Unit: milliseconds
                     expr      min       lq     mean   median       uq      max neval
 spread(df, Date, Metric) 1.461595 1.491919 1.628366 1.566753 1.635374 2.606135   100
 microbenchmark(suppressMessages(dcast(dt, Dimension~Date)))
Unit: milliseconds
                                          expr      min       lq     mean   median       uq      max neval
 suppressMessages(dcast(dt, Dimension ~ Date)) 3.365726 3.416384 3.770659 3.471678 4.011316 7.235719   100

microbenchmark(suppressMessages(dcast.data.table(dt, Dimension~Date)))
Unit: milliseconds
                                                 expr      min      lq   

mean   median       uq
 suppressMessages(dcast.data.table(dt, Dimension ~ Date)) 2.375445 2.52218 2.7684 2.614706 2.703075
      max neval
 15.96149   100

这里的数据 table 没有 sppressMessages

Unit: milliseconds
                                   expr      min       lq     mean median       uq     max neval
 dcast.data.table(dt, Dimension ~ Date) 2.667337 3.428127 4.749301 4.0476 5.289618 14.3823   100

这里数据table不用猜：

 microbenchmark(dcast.data.table(dt, Dimension ~ Date, value.var = "Metric"))
Unit: milliseconds
                                                         expr      min       lq    mean   median
 dcast.data.table(dt, Dimension ~ Date, value.var = "Metric") 2.077276 2.118707 2.28623 2.168667
       uq      max neval
 2.320579 5.780479   100

旋转大型数据集

Pivoting a large data set

r

pivot

pivot-table

基准