在特定位置检测字符串列表中的常见字符

Question

我有一个非常大的数据集，其中有很多列，是从应用程序导出的。问题是文件是 "empty character" 分隔的。使用 readLines 读取文件会产生一个字符串列表，每个字符串具有相同数量的字符。

确定列位置的一种可能方法是检查每个字符串（比方说位置 5）是否有空字符。因此，可以从向量1开始继续查找，直到找到一个非空字符。

d <- data.frame("V1" = c(" f ggh", "aa hh", "a  qq" ), stringsAsFactors = 
F)


first.char <- function(col){
current <- 0
j <- 1
while(j <= length(d)){
tmp <- substr(d[j], col, col)
if(!grepl("^\s*$", tmp)){
  current <- 1
  break}
j <- j+1
}
return(current)
}

row_dummies <- lapply( c(1:6), first.char) %>% unlist

这种方法可行，但在放大时速度很慢（有 100 万个字符串的列表，每个字符串长 1500 个字符）。我还尝试将每个向量转换为 data.table 然后使用 str split (Split text string in a data.table columns)，但这似乎更加低效，因为在大多数情况下没有必要检查所有行。

有什么建议或建议吗？

更新： 上面的例子太简单了。这个好一点：

text <- c("df ggh a a h h a  qq",
          "       aa  hh  ab qt",
          " fggh   aa hh  a    ")

期望的输出是

 list( c("df ggh", "a a", "h h", "a",   "qq"),
       c(NA,       "aa",  "hh",  "ab",  "qq"),
       c(" fggh",  "aa",  "hh",  "a",   NA)

 )

str_locate_all 效果很好，因为它指示拆分字符串的位置：

cuts_in <- sapply(text, function(x) x %>%  str_locate_all(. , "\s") ) 
cuts_in <- lapply(cuts_in,  data.table) # to data.table    
cuts_in <- rbindlist(cuts_in)
cuts_in <- cuts_in[, .N, by=start] 
cuts_in[ N==3 ,"start"]

   start
   1:     7
   2:    11
   3:    15
   4:    18

但是，这可能不是最有效的方式（有 15 个文件，每个文件一百万行，每行有 1500 个字符）。例如，假设第 1 行位置 1 不是 space，则无需检查第 2 行和第 3 行中位置 1 的字符。 read_table2 似乎也不是一个解决方案：

read_table2(text, col_names = FALSE)

  X1    X2    X3    X4    X5    X6    X7    X8   
 <chr> <chr> <chr> <chr> <chr> <chr> <chr> <chr>
1 df    ggh   a     a     h     h     a     qq   
2 aa    hh    ab    qt    NA    NA    NA    NA   
3 fggh  aa    hh    a     NA    NA    NA    NA

Answer 1

str_locate_all 来自 stringr 怎么样：

library(stringr)

d <- data.frame("V1" = c(" f ggh", "aa hh", "a  qq" ), stringsAsFactors = 
F)

str_locate_all(d$V1, "\s")


[[1]]
     start end
[1,]     1   1
[2,]     3   3

[[2]]
     start end
[1,]     3   3

[[3]]
     start end
[1,]     2   2
[2,]     3   3

但是如果你想把它分成不同的列，你可以使用 dplyr 和 tidyr 的组合一次完成。

library(tidyverse)

d %>%
 mutate(V1 = str_trim(V1, side = "both")) %>%
 separate(V1, c("string_1", "string_2"), sep = "\s+")

  string_1 string_2
1        f      ggh
2       aa       hh
3        a       qq

Answer 2

你实际遇到的情况是你需要读取一个固定宽度的文件并且不知道列在哪里，这是我以前不理解的。您可以为此尝试使用 readr::read_fwf。 fwf_empty 将查看一些行，默认为 100 行，并尝试找出相交列的位置。根据您希望在 1500 个字符中有多少列，您可能需要增加 n 以获得正确的输出。

library(tidyverse)
text <- c("df ggh a a h h a  qq",
          "       aa  hh  ab qt",
          " fggh   aa hh  a    ")
read_fwf(text, fwf_empty(text, n = 100))
#> # A tibble: 3 x 5
#>   X1     X2    X3    X4    X5   
#>   <chr>  <chr> <chr> <chr> <chr>
#> 1 df ggh a a   h h   a     qq   
#> 2 <NA>   aa    hh    ab    qt   
#> 3 fggh   aa    hh    a     <NA>

或者，如果您已经在使用 str_locate_all 并想查看所有线条，您可以将生成的位置转换为宽度以用于 fwf_widths，方法是添加起点和终点，以及考虑差异。请注意，您不需要将 sapply 与 str_locate_all 一起使用，它已经矢量化了。这可能会更慢，因为它会检查每一行，如果您没有得到正确的输出，我会先尝试增加 n。

locations <- text %>%
  str_locate_all("\s") %>%
  map(~.[, 1]) %>%
  reduce(intersect)

widths <- c(1, locations, str_length(text[1])) %>% diff()

read_fwf(text, fwf_widths(widths))
#> # A tibble: 3 x 5
#>   X1     X2    X3    X4    X5   
#>   <chr>  <chr> <chr> <chr> <chr>
#> 1 df ggh a a   h h   a     q    
#> 2 <NA>   aa    hh    ab    q    
#> 3 fggh   aa    hh    a     <NA>

^{由 reprex package (v0.2.1)}

于 2019-04-18 创建

在特定位置检测字符串列表中的常见字符

detecting common characters in a list of strings, at specific positions

substring

r

strsplit