getURL 工作缓慢

Question

我正在从各种数据库中提取信息，为此我一直在跟踪如何在每个数据库的不同 ID 之间进行转换。

library("RCurl")
library("XML")
transformDrugId<-function(x){
URLtoan<-getURL(x)
PARSED<-htmlParse(URLtoan)
dsource<-xpathSApply( PARSED,"//*[@id='advancedform']/div[7]/fieldset/p/b[1]/text()",xmlValue)
id<-xpathSApply( PARSED,"//*[@id='advancedform']/div[7]/fieldset/p/a[1]/span/text()",xmlValue)
return(c(dsource,id))}

举个例子，我的电脑使用 linux 和 RSTUDIO 所花费的时间是

system.time(DBidstest<-sapply(urls[c(10001:10003)],transformDrugId))
 user  system elapsed 
0.132   0.000   3.675 

system.time(DBids7<-sapply(urls[c(601:700)],transformDrugId))
user  system elapsed 
3.980   0.124 549.233

其中 urls 包含我检查 ID 的 TDR 数据库的 url 地址列表当我必须为 300000 个药物 ID 执行此操作时，计算时间变得非常长。作为示例，我提供了前五个 urls

head(urls)
[1] "http://tdrtargets.org/drugs/view?mol_id=608858"
[2] "http://tdrtargets.org/drugs/view?mol_id=608730"
[3] "http://tdrtargets.org/drugs/view?mol_id=549548"
[4] "http://tdrtargets.org/drugs/view?mol_id=581648"
[5] "http://tdrtargets.org/drugs/view?mol_id=5857"  
[6] "http://tdrtargets.org/drugs/view?mol_id=550626"

任何有助于减少获取和分析 html 的时间的帮助都将不胜感激。我愿意接受任何可能涉及不使用 R 的建议。

后来才知道，使用getURL10以下的异步URL有时速度会更快，但使用两次就变慢了

system.time(test<-getURLAsynchronous(urls[c(1:10)]))
user  system elapsed 
0.128   0.016   1.414 
system.time(test<-getURLAsynchronous(urls[c(1:10)]))
user  system elapsed 
0.152   0.088 300.103

Answer 1

直接使用 shell 下载结果快十倍回显 $URLTEST| xargs -n 1 -P 7 wget -q 其中 URLTEST 是要下载的 html 列表。-n 设置查询之间的等待时间和 -P 并行查询的数量，两者都经过微调，以便我得到 100 个 html 真实 0m13.498s 用户 0m0.196s 系统 0m0.652s

R 的接口 t libcurl 一定存在一些问题，这使得它与 getURL() 和 downloadFile() 相比真的很慢

getURL 工作缓慢

getURL working slow

r

xml

linux

web-scraping

rcurl