R Dataframe:在列内、跨行、按组聚合字符串
R Dataframe: aggregating strings within column, across rows, by group
对于一个特殊问题,我有一个似乎非常低效的解决方案。我有文本数据,由于各种原因,它以随机间隔在数据帧的行中被打破。但是,根据数据框中其他变量的独特组合,已知 的某些子集属于一起。例如,请参阅演示结构和我的初始解决方案的 MWE:
# Data
df <- read.table(text="page passage person index text
1 123 A 1 hello
1 123 A 2 my
1 123 A 3 name
1 123 A 4 is
1 123 A 5 guy
1 124 B 1 well
1 124 B 2 hello
1 124 B 3 guy",header=T,stringsAsFactors=F)
master<-data.frame()
for (i in 123:max(df$passage)) {
print(paste0('passage ',i))
tempset <- df[df$passage==i,]
concat<-''
for (j in 1:nrow(tempset)) {
print(paste0('index ',j))
concat<-paste(concat, tempset$text[j])
}
tempdf<-data.frame(tempset$page[1],tempset$passage[1], tempset$person[1], concat, stringsAsFactors = FALSE)
master<-rbind(master, tempdf)
rm(concat, tempset, tempdf)
}
master
> master
tempset.page.1. tempset.passage.1. tempset.person.1. concat
1 1 123 A hello my name is guy
2 1 124 B well hello guy
在这个例子中,在我的真实案例中,"passage" 是唯一的分组变量,因此并不完全需要将其他部分与它一起使用,尽管我希望它们在我的数据集中可用.
我目前的估计是,我设计的这个过程将花费几个小时的时间来处理一个数据集,否则我的计算机上的 R 可以很容易地处理这些数据集。也许可以通过其他函数或包获得一些效率,或者不创建和删除那么多对象?
在此感谢您的帮助!
data.table
这是一种方法:
require(data.table)
DT <- data.table(df)
DT[,.(concat=paste0(text,collapse=" ")),by=.(page,passage,person)]
# page passage person concat
# 1: 1 123 A hello my name is guy
# 2: 1 124 B well hello guy
我认为将额外的变量(除了 passage
)放入 by
中不会花费太多。
dplyr 类似物是
df %>%
group_by(page,passage,person) %>%
summarise(concat=paste0(text,collapse=" "))
# Source: local data frame [2 x 4]
# Groups: page, passage, person
#
# page passage person concat
# 1 1 123 A hello my name is guy
# 2 1 124 B well hello guy
base R 一种方式是:
df$concat <- with(df,ave(text,passage,FUN=function(x)paste0(x,collapse=" ")))
unique(df[,which(names(df)%in%c("page","passage","person","concat"))])
# page passage person concat
# 1 1 123 A hello my name is guy
# 6 1 124 B well hello guy
这里有两种方法:
基础 R
aggregate(
text ~ page + passage + person,
data=df,
FUN=paste, collapse=' '
)
dplyr
library(dplyr)
df %>%
group_by_(~page, ~passage, ~person) %>%
summarize_(text=~paste(text, collapse=' '))
对于一个特殊问题,我有一个似乎非常低效的解决方案。我有文本数据,由于各种原因,它以随机间隔在数据帧的行中被打破。但是,根据数据框中其他变量的独特组合,已知 的某些子集属于一起。例如,请参阅演示结构和我的初始解决方案的 MWE:
# Data
df <- read.table(text="page passage person index text
1 123 A 1 hello
1 123 A 2 my
1 123 A 3 name
1 123 A 4 is
1 123 A 5 guy
1 124 B 1 well
1 124 B 2 hello
1 124 B 3 guy",header=T,stringsAsFactors=F)
master<-data.frame()
for (i in 123:max(df$passage)) {
print(paste0('passage ',i))
tempset <- df[df$passage==i,]
concat<-''
for (j in 1:nrow(tempset)) {
print(paste0('index ',j))
concat<-paste(concat, tempset$text[j])
}
tempdf<-data.frame(tempset$page[1],tempset$passage[1], tempset$person[1], concat, stringsAsFactors = FALSE)
master<-rbind(master, tempdf)
rm(concat, tempset, tempdf)
}
master
> master
tempset.page.1. tempset.passage.1. tempset.person.1. concat
1 1 123 A hello my name is guy
2 1 124 B well hello guy
在这个例子中,在我的真实案例中,"passage" 是唯一的分组变量,因此并不完全需要将其他部分与它一起使用,尽管我希望它们在我的数据集中可用.
我目前的估计是,我设计的这个过程将花费几个小时的时间来处理一个数据集,否则我的计算机上的 R 可以很容易地处理这些数据集。也许可以通过其他函数或包获得一些效率,或者不创建和删除那么多对象?
在此感谢您的帮助!
data.table
这是一种方法:
require(data.table)
DT <- data.table(df)
DT[,.(concat=paste0(text,collapse=" ")),by=.(page,passage,person)]
# page passage person concat
# 1: 1 123 A hello my name is guy
# 2: 1 124 B well hello guy
我认为将额外的变量(除了 passage
)放入 by
中不会花费太多。
dplyr 类似物是
df %>%
group_by(page,passage,person) %>%
summarise(concat=paste0(text,collapse=" "))
# Source: local data frame [2 x 4]
# Groups: page, passage, person
#
# page passage person concat
# 1 1 123 A hello my name is guy
# 2 1 124 B well hello guy
base R 一种方式是:
df$concat <- with(df,ave(text,passage,FUN=function(x)paste0(x,collapse=" ")))
unique(df[,which(names(df)%in%c("page","passage","person","concat"))])
# page passage person concat
# 1 1 123 A hello my name is guy
# 6 1 124 B well hello guy
这里有两种方法:
基础 R
aggregate(
text ~ page + passage + person,
data=df,
FUN=paste, collapse=' '
)
dplyr
library(dplyr)
df %>%
group_by_(~page, ~passage, ~person) %>%
summarize_(text=~paste(text, collapse=' '))