提高从 R 中的 Rest Api 中提取数据的速度

Question

我正在使用 R 从 API 中提取数据，我想知道是否可以加快调用速度。通常在提取数据后，我必须使用一些其他函数来获得所需的输出。这通常会大大降低我的代码速度。

这是一个可重现的示例：（api 密钥作为免费密钥使用）

library(httr)
library(jsonlite)
data = GET("https://finnhub.io/api/v1/stock/candle?symbol=AAPL&resolution=1&from=1572651390&to=1572910590&token=btj392748v6p9f1po5vg")
value = data$content
value = rawToChar(value)
value = fromJSON(value)

head(value$c, 10)
#[1] 257.57 257.07 257.14 257.37 257.57 257.66

有没有办法加快我从服务器调用的速度？我发现我必须对许多 api 连接的人执行此操作。速度对我很重要。如果您能提出更好的方法，我们将不胜感激。

@dave2e 有一个很好的想法 - 只需调用 fromJson("url goes here").

但是，一些 api 的呼叫需要 header。这就是我通常用 GET() 调用它的方式。

token = "mysecretpassword"
value = GET(url, add_headers(Authorization = token))

我如何在 fromJson() 中执行此操作？

Answer 1

您不控制下载或远程服务器。但是你控制 JSON 转换，没有什么比 simdjson which you can use via RcppSimdJson.

更快

代码

library(httr)
library(jsonlite)
library(RcppSimdJson)
library(rbenchmark)
data <- GET("https://finnhub.io/api/v1/stock/candle?symbol=AAPL&resolution=1&from=1572651390&to=1572910590&token=btj392748v6p9f1po5vg")
benchmark(value1 <- fromJSON(rawToChar(data$content)),
          value2 <- RcppSimdJson::fparse(data$content), 
          replications=1000[,1:4]

输出

R> library(httr)
R> library(jsonlite)
R> library(RcppSimdJson)
R> library(rbenchmark)
R> data <- GET("https://finnhub.io/api/v1/stock/candle?symbol=AAPL&resolution=1&from=1572651390&to=1572910590&token=btj392748v6p9f1po5vg")
R> benchmark(value1 <- fromJSON(rawToChar(data$content)),
+           value2 <- RcppSimdJson::fparse(data$content), replications=1000)[,1:4]
                                          test replications elapsed relative
1  value1 <- fromJSON(rawToChar(data$content))         1000   0.987   13.708
2 value2 <- RcppSimdJson::fparse(data$content)         1000   0.072    1.000
R>

因此，转换方面现在快了 13 倍。这在您的整体环境中是否重要只有您可以决定。

提高从 R 中的 Rest Api 中提取数据的速度

Increase the speed of pulling data from a Rest Api in R

r

get

httr

get-request

代码

输出