Error: Invalid: Unrecognized filesystem type in URI when loading parquet file from url using arrow package

Question

我是 parquet 文件格式的新手，我正在使用 read_parquet()（在 arrow 包中）将 parquet 文件（存储在我的 Dropbox 共享文件夹中）加载到 R 中。但是，我收到以下错误消息

library(arrow)
 df <- read_parquet("https://www.dropbox.com/s/mysgf4sojpjgyp7/part-394.parquet?dl=1")

Error: Invalid: Unrecognized filesystem type in URI: https://www.dropbox.com/s/mysgf4sojpjgyp7/part-394.parquet?dl=1

什么可能导致这里出现此问题，我是否需要预先对 url link 进行分区？

Answer 1

arrow 包中的文件读取函数尚不支持 HTTP[S] URI。我们希望在未来的版本中添加此功能 (ARROW-7594)。与此同时：

如果您在运行所在的计算机上安装了 Dropbox，请使用文件的本地路径而不是 HTTPS URI。

如果您没有安装 Dropbox，请先下载文件，如下所示：

myfile <- tempfile()
download.file(
  "https://www.dropbox.com/s/mysgf4sojpjgyp7/part-394.parquet?dl=1",
  myfile,
  mode = "wb"
)
df <- read_parquet(myfile)

Error: Invalid: Unrecognized filesystem type in URI when loading parquet file from url using arrow package

Error: Invalid: Unrecognized filesystem type in URI when loading parquet file from url using arrow package

r

parquet

apache-arrow