从 "NA" 个字符串中解析引号

Question

我的数据框有一些变量包含缺失值作为字符串，如 "NA"。解析包含这些列的数据框中的所有列并将它们转换为由 is.na() 等函数捕获的真实 NA 的最有效方法是什么？

我正在使用 sqldf 查询数据库。

可重现的例子：

vect1 <- c("NA", "NA", "BANANA", "HELLO")
vect2 <- c("NA", 1, 5, "NA")
vect3 <- c(NA, NA, "NA", "NA")


df = data.frame(vect1,vect2,vect3)

Answer 1

我从 this 问题中找到了这种很好的方法：

所以对于这种特殊情况，它只是：

df[df=="NA"]<-NA

500 万行和约 250 个变量只用了大约 30 秒

Answer 2

这个稍微快一点：

set.seed(42)
df <- do.call(data.frame, lapply(df, sample, size = 1e7, replace = TRUE))
df2 <- df
system.time(df[df=="NA"]<-NA )
# user      system     elapsed 
#3.601       0.378       3.984 

library(data.table)
setDT(df2)
system.time({
  #find character and factor columns
  ind <- which(vapply(df2, function(x) class(x) %in% c("character", "factor"), FUN.VALUE = TRUE))
  #assign by reference
  df2[, names(df2)[ind] := lapply(.SD, function(x) {
  is.na(x) <- x == "NA"
  x
}), .SDcols = ind]
})
# user      system     elapsed 
#2.484       0.190       2.676 
all.equal(df, setDF(df2))
#[1] TRUE

Answer 3

要添加备选方案，您还可以使用 replace 而不是典型的 blah[index] <- NA 方法。 replace 看起来像：

df <- replace(df, df == "NA", NA)

要考虑的另一个选择是 type.convert。这是R在读取数据时自动转换列类型时使用的函数。因此，结果与您当前的方法不同，例如，第二列被转换为数字。

df[] <- lapply(df, function(x) type.convert(as.character(x), na.strings = "NA"))
df

这是性能比较。示例数据来自@roland的回答。

以下是要测试的函数：

funop <- function() {
  df[df == "NA"] <- NA
  df
}

funr <- function() {
  ind <- which(vapply(df, function(x) class(x) %in% c("character", "factor"), FUN.VALUE = TRUE))
  as.data.table(df)[, names(df)[ind] := lapply(.SD, function(x) {
    is.na(x) <- x == "NA"
    x
  }), .SDcols = ind][]
}

funam1 <- function() replace(df, df == "NA", NA)

funam2 <- function() {
  df[] <- lapply(df, function(x) type.convert(as.character(x), na.strings = "NA"))
  df
}

这是基准测试：

library(microbenchmark)
microbenchmark(funop(), funr(), funam1(), funam2(), times = 10)
# Unit: seconds
#      expr      min       lq     mean   median       uq      max neval
#   funop() 3.629832 3.750853 3.909333 3.855636 4.098086 4.248287    10
#    funr() 3.074825 3.212499 3.320430 3.279268 3.332304 3.685837    10
#  funam1() 3.714561 3.899456 4.238785 4.065496 4.280626 5.512706    10
#  funam2() 1.391315 1.455366 1.623267 1.566486 1.606694 2.253258    10

replace 与@roland 的方法相同，与@jgozal 的方法相同。但是，type.convert 方法会导致不同的列类型。

all.equal(funop(), setDF(funr()))
all.equal(funop(), funam())

str(funop())
# 'data.frame': 10000000 obs. of  3 variables:
#  $ vect1: Factor w/ 3 levels "BANANA","HELLO",..: 2 2 NA 2 1 1 1 NA 1 1 ...
#  $ vect2: Factor w/ 3 levels "1","5","NA": NA 2 1 NA 1 NA NA 1 NA 2 ...
#  $ vect3: Factor w/ 1 level "NA": NA NA NA NA NA NA NA NA NA NA ...

str(funam2())
# 'data.frame': 10000000 obs. of  3 variables:
#  $ vect1: Factor w/ 2 levels "BANANA","HELLO": 2 2 NA 2 1 1 1 NA 1 1 ...
#  $ vect2: int  NA 5 1 NA 1 NA NA 1 NA 5 ...
#  $ vect3: logi  NA NA NA NA NA NA ...

从 "NA" 个字符串中解析引号

parsing quotes out of "NA" strings

r

sqldf