难以分组和聚合大型数据集
Difficulty Grouping and Aggregating Large Dataset
我在处理非常大的数据集时遇到了问题。我有项目 ID、购买日期和购买数量。
str(Output0)
'data.frame': 183847 obs. of 3 variables:
$ D: Factor w/ 460 levels "2015-09-21","2015-09-24",..: 3 3 3 3 3 3 3 3 3 3 ...
$ P: int 1 2 3 4 5 6 7 8 9 10 ...
$ Q: num 7 1 2 1 1 1 1 1 1 1 ...
注意,P=项目 ID,D=日期,Q=购买数量
我想按 3 天的周期对每件商品的购买数量求和(因此可能仍然存在重复的商品 ID)。例如:
P Date Purchase Q
1234 1/1/16 1
1235 1/1/16 1
1235 1/2/16 1
1235 1/3/16 1
1444 1/1/16 1
1444 1/2/16 1
1444 1/3/16 1
看起来像:
ItemID DateEndPoint Purchase Q
1234 1/1/16 1
1235 1/3/16 3
1444 1/3/16 3
我试过使用:
Output2 <- aggregate(Output0$Q, by=list(PS=P,
Date = cut(as.Date(Output0$D, format="%d/%m/%Y"),breaks="3 day")), FUN=sum)
但是出现了这个错误:
Error in seq.int(0, to0 - from, by) : 'to' cannot be NA, NaN or infinite
In addition: Warning messages:
1: In min.default(c(NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, :
no non-missing arguments to min; returning Inf
2: In max.default(c(NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, :
no non-missing arguments to max; returning -Inf
我也想根据需要在其他时间段(1 天,1 周)做同样的事情,所以可重现的东西会很棒。
回应 P Lapointe:我试过下面的方法,看起来不错,除了最后一列是所有日期而不是每个时期的所有项目的总和
Output1 <- POData%>%mutate(Date=as.Date(POData$`PO Date`,"%m-%d-%Y"),Date_Group=cut(Date,breaks="3 days"))%>% group_by(POData$`ItemID`,Date_Group)%>%summarise(DateEndPoint=max(Date),Purchase_Q=sum(POData$`POQty`,na.rm=TRUE))
显示为:
> View(Output1)
> str(Output1)
Classes ‘grouped_df’, ‘tbl_df’, ‘tbl’ and 'data.frame': 116749 obs. of 4 variables:
$ POData$`Item ID`: int 11 11 11 11 11 11 11 11 11 11 ...
$ Date_Group : Factor w/ 216 levels "2015-09-21","2015-09-24",..: 4 6 11 13 14 15 18 19 24 25 ...
$ DateEndPoint : Date, format: "2015-10-02" "2015-10-08" ...
$ Purchase_Q : num 2691020 2691020 2691020 2691020 2691020 ...
- attr(*, "vars")= chr "POData$`Item ID`"
- attr(*, "drop")= logi TRUE
提前致谢!
以下是 dplyr
的操作方法。请注意,我将您的示例延长了一天,以表明它可以处理额外的 3 天组。基本上,您想创建一个新的 Date_group 列作为分组依据。然后,summarise
.
df <- read.table(text="P Date Purchase_Q
1234 1/1/16 1
1235 1/1/16 1
1235 1/2/16 1
1235 1/3/16 1
1444 1/1/16 1
1444 1/2/16 1
1444 1/3/16 1
1444 1/5/16 1",header=TRUE,stringsAsFactors=FALSE)
library(dplyr)
df%>%
mutate(Date=as.Date(Date,"%m/%d/%y"),Date_group=cut(Date,breaks="3 days")) %>%
group_by(P,Date_group) %>%
summarise(DateEndPoint=max(Date),Purchase_Q=sum(Purchase_Q,na.rm=TRUE))
P Date_group DateEndPoint Purchase_Q
<int> <fctr> <date> <int>
1 1234 2016-01-01 2016-01-01 1
2 1235 2016-01-01 2016-01-03 3
3 1444 2016-01-01 2016-01-03 3
4 1444 2016-01-04 2016-01-05 1
我在处理非常大的数据集时遇到了问题。我有项目 ID、购买日期和购买数量。
str(Output0)
'data.frame': 183847 obs. of 3 variables:
$ D: Factor w/ 460 levels "2015-09-21","2015-09-24",..: 3 3 3 3 3 3 3 3 3 3 ...
$ P: int 1 2 3 4 5 6 7 8 9 10 ...
$ Q: num 7 1 2 1 1 1 1 1 1 1 ...
注意,P=项目 ID,D=日期,Q=购买数量
我想按 3 天的周期对每件商品的购买数量求和(因此可能仍然存在重复的商品 ID)。例如:
P Date Purchase Q
1234 1/1/16 1
1235 1/1/16 1
1235 1/2/16 1
1235 1/3/16 1
1444 1/1/16 1
1444 1/2/16 1
1444 1/3/16 1
看起来像:
ItemID DateEndPoint Purchase Q
1234 1/1/16 1
1235 1/3/16 3
1444 1/3/16 3
我试过使用:
Output2 <- aggregate(Output0$Q, by=list(PS=P,
Date = cut(as.Date(Output0$D, format="%d/%m/%Y"),breaks="3 day")), FUN=sum)
但是出现了这个错误:
Error in seq.int(0, to0 - from, by) : 'to' cannot be NA, NaN or infinite
In addition: Warning messages: 1: In min.default(c(NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, : no non-missing arguments to min; returning Inf 2: In max.default(c(NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, : no non-missing arguments to max; returning -Inf
我也想根据需要在其他时间段(1 天,1 周)做同样的事情,所以可重现的东西会很棒。
回应 P Lapointe:我试过下面的方法,看起来不错,除了最后一列是所有日期而不是每个时期的所有项目的总和
Output1 <- POData%>%mutate(Date=as.Date(POData$`PO Date`,"%m-%d-%Y"),Date_Group=cut(Date,breaks="3 days"))%>% group_by(POData$`ItemID`,Date_Group)%>%summarise(DateEndPoint=max(Date),Purchase_Q=sum(POData$`POQty`,na.rm=TRUE))
显示为:
> View(Output1)
> str(Output1)
Classes ‘grouped_df’, ‘tbl_df’, ‘tbl’ and 'data.frame': 116749 obs. of 4 variables:
$ POData$`Item ID`: int 11 11 11 11 11 11 11 11 11 11 ...
$ Date_Group : Factor w/ 216 levels "2015-09-21","2015-09-24",..: 4 6 11 13 14 15 18 19 24 25 ...
$ DateEndPoint : Date, format: "2015-10-02" "2015-10-08" ...
$ Purchase_Q : num 2691020 2691020 2691020 2691020 2691020 ...
- attr(*, "vars")= chr "POData$`Item ID`"
- attr(*, "drop")= logi TRUE
提前致谢!
以下是 dplyr
的操作方法。请注意,我将您的示例延长了一天,以表明它可以处理额外的 3 天组。基本上,您想创建一个新的 Date_group 列作为分组依据。然后,summarise
.
df <- read.table(text="P Date Purchase_Q
1234 1/1/16 1
1235 1/1/16 1
1235 1/2/16 1
1235 1/3/16 1
1444 1/1/16 1
1444 1/2/16 1
1444 1/3/16 1
1444 1/5/16 1",header=TRUE,stringsAsFactors=FALSE)
library(dplyr)
df%>%
mutate(Date=as.Date(Date,"%m/%d/%y"),Date_group=cut(Date,breaks="3 days")) %>%
group_by(P,Date_group) %>%
summarise(DateEndPoint=max(Date),Purchase_Q=sum(Purchase_Q,na.rm=TRUE))
P Date_group DateEndPoint Purchase_Q
<int> <fctr> <date> <int>
1 1234 2016-01-01 2016-01-01 1
2 1235 2016-01-01 2016-01-03 3
3 1444 2016-01-01 2016-01-03 3
4 1444 2016-01-04 2016-01-05 1