运行来自 R 或 python 的并行 selenium 测试的 yaml 文件

Question

我有一个简单的 yaml 文件：

seleniumhub:
    image: selenium/hub
    ports:
      - 4444:4444

firefoxnode:
    image: selenium/node-firefox-debug
    ports:
      - 4577
    links:
      - seleniumhub:hub

chromenode:
    image: selenium/node-chrome-debug
    ports:
      - 4578
    links:
      - seleniumhub:hub

我在 docker 中执行的：

docker-compose up -d

我有一个集线器和两个节点运行ning。

现在我想运行并行执行两个非常简单的 selenium 命令（用 RSelenium 编写）：

remDr$open()
remDr$navigate("http://www.r-project.org")
remDr$screenshot(display = TRUE)

我想知道如何在 Python 或 R 中并行运行以上 selenium 命令。我尝试了几种方法，但 none 有效。例如在 R 中：

library(RSelenium)
remDr <- remoteDriver(remoteServerAddr = "192.168.99.100", port = 4444L)
remDr$open()
remDr$navigate("http://www.r-project.org")
remDr$screenshot(display = TRUE)

什么都不做。我也尝试过运行两个 remoteDrivers，但这对以太没有帮助：

remDr <- remoteDriver(remoteServerAddr = "192.168.99.100", port = 4577L)
remDr$open()
remDr$navigate("http://www.r-project.org")
remDr$screenshot(display = TRUE)

Answer 1

这是

的副本

您可以使用上述答案中的代码进行并行执行

library(RSelenium)
library(rvest)
library(magrittr)
library(foreach)
library(doParallel)

URLsPar <- c("http://www.bbc.com/", "http://www.cnn.com", "http://www.google.com",
             "http://www.yahoo.com", "http://www.twitter.com")
appHTML <- c()

(cl <- (detectCores() - 1) %>%  makeCluster) %>% registerDoParallel
# open a remoteDriver for each node on the cluster
clusterEvalQ(cl, {
  library(RSelenium)
  remDr <- remoteDriver$new(remoteServerAddr = ip, port = port)
  remDr$open()
})
myTitles <- c()
ws <- foreach(x = 1:length(URLsPar), .packages = c("rvest", "magrittr", "RSelenium"))  %dopar%  {
  remDr$navigate(URLsPar[x])
  remDr$getTitle()[[1]]
}

# close browser on each node
clusterEvalQ(cl, {
  remDr$close()
})

stopImplicitCluster()

运行来自 R 或 python 的并行 selenium 测试的 yaml 文件

Run yaml file for parallel selenium test from R or python

python

r

selenium-grid

docker

rselenium

运行 来自 R 或 python 的并行 selenium 测试的 yaml 文件

Run yaml file for parallel selenium test from R or python

python

r

selenium-grid

docker

rselenium

运行来自 R 或 python 的并行 selenium 测试的 yaml 文件