R 中 apply v. for 循环的意外行为
Unexpected behavior of apply v. for loop in R
我想使用 apply
而不是 for
循环来加速一个函数,该函数通过粘贴折叠数据框中的每一行来创建字符串向量,其中包含字符串和数字有很多小数。
加速是显着的,但 apply 强制数字用空格填充左侧,以便所有值具有相同数量的字符并将数字四舍五入为整数,而 for
循环则不然。
我能够通过对数字执行 as.character
来解决这个问题,但是数据帧内存使用量要大得多,而且我仍然不知道为什么 apply
这样做。有没有人有解释或更好的解决方案?
使用 apply
:
df <- data.frame(V1=rep(letters[1:20], 1000/20), V2=(1:1000)+0.00000001,
+ V3=rep(letters[1:20], 1000/20), stringsAsFactors=F)
system.time(varapl <- apply(df, 1, function(x){
paste(x[1:3], collapse="_")
}))
varapl[c(1,10,100,1000)]
输出:
user system elapsed
0.01 0.00 0.02
[1] "a_ 1_a" "j_ 10_j" "t_ 100_t" "t_1000_t"
# Spaces to the right and rounded!
使用for
:
varfor <- NULL
system.time(for(i in 1:1000){
varfor <- c(varfor, paste(df[i,1:3], collapse="_"))
})
varfor[c(1,10,100,1000)]
输出:
user system elapsed
0.19 0.00 0.19
[1] "a_1.00000001_a" "j_10.00000001_j" "t_100.00000001_t" "t_1000.00000001_t"
# This is what I'm looking for!
解决方法是:
df2 <- data.frame(V1=rep(letters[1:20], 1000/20),
+ V2=as.character((1:1000)+0.00000001),
+ V3=rep(letters[1:20], 1000/20), stringsAsFactors=F)
varapl[c(1,10,100,1000)]
[1] "a_1.00000001_a" "j_10.00000001_j" "t_100.00000001_t" "t_1000.00000001_t"
但是:
object.size(df)
26816 bytes
object.size(df2)
97208 bytes
我的原始数据帧有数百万个条目,因此速度和内存限制都很重要。
提前感谢您的意见!
基奥.
我不确定是什么导致了 apply 的这种行为,但我会提出一个替代方案,因为您对速度很感兴趣。看看 Hadleys 包 tidyr 和它的函数 unite。
library(tidyr)
df <- data.frame(V1=rep(letters[1:20], 1000/20), V2=(1:1000)+0.00000001,
V3=rep(letters[1:20], 1000/20), stringsAsFactors=F)
unite(df, var, c(V1, V2, V3))
# var
# 1 a_1.00000001_a
# 2 b_2.00000001_b
# 3 c_3.00000001_c
# 4 d_4.00000001_d
# 5 e_5.00000001_e
# 6 f_6.00000001_f
system.time(varapl <- unite(df, var, c(V1, V2, V3)))
# user system elapsed
# 0 0 0
@alexis_laz answered the question (Thanks!) by linking to this。因为在评论部分提到了它,所以我把它贴在这里。
我想使用 apply
而不是 for
循环来加速一个函数,该函数通过粘贴折叠数据框中的每一行来创建字符串向量,其中包含字符串和数字有很多小数。
加速是显着的,但 apply 强制数字用空格填充左侧,以便所有值具有相同数量的字符并将数字四舍五入为整数,而 for
循环则不然。
我能够通过对数字执行 as.character
来解决这个问题,但是数据帧内存使用量要大得多,而且我仍然不知道为什么 apply
这样做。有没有人有解释或更好的解决方案?
使用 apply
:
df <- data.frame(V1=rep(letters[1:20], 1000/20), V2=(1:1000)+0.00000001,
+ V3=rep(letters[1:20], 1000/20), stringsAsFactors=F)
system.time(varapl <- apply(df, 1, function(x){
paste(x[1:3], collapse="_")
}))
varapl[c(1,10,100,1000)]
输出:
user system elapsed
0.01 0.00 0.02
[1] "a_ 1_a" "j_ 10_j" "t_ 100_t" "t_1000_t"
# Spaces to the right and rounded!
使用for
:
varfor <- NULL
system.time(for(i in 1:1000){
varfor <- c(varfor, paste(df[i,1:3], collapse="_"))
})
varfor[c(1,10,100,1000)]
输出:
user system elapsed
0.19 0.00 0.19
[1] "a_1.00000001_a" "j_10.00000001_j" "t_100.00000001_t" "t_1000.00000001_t"
# This is what I'm looking for!
解决方法是:
df2 <- data.frame(V1=rep(letters[1:20], 1000/20),
+ V2=as.character((1:1000)+0.00000001),
+ V3=rep(letters[1:20], 1000/20), stringsAsFactors=F)
varapl[c(1,10,100,1000)]
[1] "a_1.00000001_a" "j_10.00000001_j" "t_100.00000001_t" "t_1000.00000001_t"
但是:
object.size(df)
26816 bytes
object.size(df2)
97208 bytes
我的原始数据帧有数百万个条目,因此速度和内存限制都很重要。
提前感谢您的意见! 基奥.
我不确定是什么导致了 apply 的这种行为,但我会提出一个替代方案,因为您对速度很感兴趣。看看 Hadleys 包 tidyr 和它的函数 unite。
library(tidyr)
df <- data.frame(V1=rep(letters[1:20], 1000/20), V2=(1:1000)+0.00000001,
V3=rep(letters[1:20], 1000/20), stringsAsFactors=F)
unite(df, var, c(V1, V2, V3))
# var
# 1 a_1.00000001_a
# 2 b_2.00000001_b
# 3 c_3.00000001_c
# 4 d_4.00000001_d
# 5 e_5.00000001_e
# 6 f_6.00000001_f
system.time(varapl <- unite(df, var, c(V1, V2, V3)))
# user system elapsed
# 0 0 0
@alexis_laz answered the question (Thanks!) by linking to this。因为在评论部分提到了它,所以我把它贴在这里。