CasperJS:运行 多个脚本实例?
CasperJS: run multiple instances of script?
我是 Javascript 编程的新手,正在研究使用 CasperJS 构建的网络抓取脚本。
问题是它相当慢,但它有效。我正在尝试想出一种方法来制作一个覆盖 script/program 来启动我创建的这个脚本,但我不确定这样做的最佳方法。我已经尝试过 GNU Parallel 命令,但我更喜欢使用 JS,PHP 或 Python,因为我对这些语言更熟悉。
我也知道 CasperJS 实例将共享 cookie 和本地存储,但这在我的用例中不是问题。
如果有人对这种架构和框架更有经验,可以帮助我,我将不胜感激。
谢谢!
我最终使用了 NodeJS'child_process:https://nodejs.org/api/child_process.html
这几乎是我想要的,并且使用了我已经在 CasperJS 脚本中使用的相同语言。
我使用的教程和示例:https://era86.github.io/2012/10/11/quick-and-dirty-nodejs-exec-limit-queue.html
我是 Javascript 编程的新手,正在研究使用 CasperJS 构建的网络抓取脚本。
问题是它相当慢,但它有效。我正在尝试想出一种方法来制作一个覆盖 script/program 来启动我创建的这个脚本,但我不确定这样做的最佳方法。我已经尝试过 GNU Parallel 命令,但我更喜欢使用 JS,PHP 或 Python,因为我对这些语言更熟悉。
我也知道 CasperJS 实例将共享 cookie 和本地存储,但这在我的用例中不是问题。 如果有人对这种架构和框架更有经验,可以帮助我,我将不胜感激。
谢谢!
我最终使用了 NodeJS'child_process:https://nodejs.org/api/child_process.html 这几乎是我想要的,并且使用了我已经在 CasperJS 脚本中使用的相同语言。
我使用的教程和示例:https://era86.github.io/2012/10/11/quick-and-dirty-nodejs-exec-limit-queue.html