如何累加readr::read_lines_chunked的结果?
How to accumulate the results of readr::read_lines_chunked?
我按以下方式使用 readr::read_lines_chunked
:
if(!require(readr)) install.packages("readr", repos = "http://cran.us.r-project.org")
mytb <- NULL
read_lines_chunked(file="/tmp/huge.xml", chunk_size=10, callback = function(xml, pos) {
// extract values from xml into tmp
if (is.null(mytb)) {
users <- as_tibble(tmp)
} else {
users <- bind_rows(users, as_tibble(tmp))
}
})
但这行不通,因为 mytb
最终总是 null
...您如何将结果累积到小标题中?
我找到了解决方案。这个包有一组回调处理程序来包装自定义处理程序。这就是它的工作原理:
mytb <- read_lines_chunked(file="/tmp/huge.xml", chunk_size=10, callback = DataFrameCallback$new(function(xml, pos) {
// extract values from xml into tmp
as_tibble(tmp)
}))
注意 DataFrameCallback$new(...)
装饰器并返回我想拼接在一起的小标题 rbind
。
我按以下方式使用 readr::read_lines_chunked
:
if(!require(readr)) install.packages("readr", repos = "http://cran.us.r-project.org")
mytb <- NULL
read_lines_chunked(file="/tmp/huge.xml", chunk_size=10, callback = function(xml, pos) {
// extract values from xml into tmp
if (is.null(mytb)) {
users <- as_tibble(tmp)
} else {
users <- bind_rows(users, as_tibble(tmp))
}
})
但这行不通,因为 mytb
最终总是 null
...您如何将结果累积到小标题中?
我找到了解决方案。这个包有一组回调处理程序来包装自定义处理程序。这就是它的工作原理:
mytb <- read_lines_chunked(file="/tmp/huge.xml", chunk_size=10, callback = DataFrameCallback$new(function(xml, pos) {
// extract values from xml into tmp
as_tibble(tmp)
}))
注意 DataFrameCallback$new(...)
装饰器并返回我想拼接在一起的小标题 rbind
。