Scrapyd 与 Windows 任务调度程序
Scrapyd vs Windows Task Scheduler
我想 运行 Azure 虚拟机上的一小部分 Scrapy 蜘蛛。我正在寻找自动化解决方案。目前看来 Windows Task Scheduler 将在一个 vm 实例上为 运行ning 3-5 个蜘蛛完成这项工作。我唯一担心的是我是否可以让它并行工作于 运行 这几个蜘蛛？
如果 Task Scheduler 已经可以 运行 并行蜘蛛，那么使用 Scrapyd 的长期优势是什么，例如如果有长期范围内说 100 只蜘蛛？作为替代方案，也许每个虚拟机上都有一个任务调度程序也可以完成这项工作。由于 Windows 上的其他发展，我正试图远离 Linux，而且我已经看到一些关于将 Scrapyd 与 Windows.
一起使用的担忧
我在 Windows 上尝试设置 Scrapyd 时遇到了问题，特别是 Scrapyd-Client。我联系了开发人员 运行，他们提到 Windows 的 Scrapyd 服务器不是项目的一部分。有趣的是，因为我实际上设法 运行 它没有具体问题，有一个 pip 安装，我只是没能正确开始使用 Scrapyd-Client。 SOF 上的一些人声称已经能够在 Windows 上 运行 Scrapyd，但是 Linux 在这个工具方面处于领先地位，所以我不会反对当前。
Scrapy 是一个很棒的工具，但是让 Scrapyd 与 Windows 一起工作至少对我来说并不是我所期望的体验，所以暂时我会使用基本的 Windows 任务计划程序选项.
我想 运行 Azure 虚拟机上的一小部分 Scrapy 蜘蛛。我正在寻找自动化解决方案。目前看来 Windows Task Scheduler 将在一个 vm 实例上为 运行ning 3-5 个蜘蛛完成这项工作。我唯一担心的是我是否可以让它并行工作于 运行 这几个蜘蛛？
如果 Task Scheduler 已经可以 运行 并行蜘蛛，那么使用 Scrapyd 的长期优势是什么，例如如果有长期范围内说 100 只蜘蛛？作为替代方案，也许每个虚拟机上都有一个任务调度程序也可以完成这项工作。由于 Windows 上的其他发展，我正试图远离 Linux，而且我已经看到一些关于将 Scrapyd 与 Windows.
一起使用的担忧我在 Windows 上尝试设置 Scrapyd 时遇到了问题，特别是 Scrapyd-Client。我联系了开发人员 运行，他们提到 Windows 的 Scrapyd 服务器不是项目的一部分。有趣的是，因为我实际上设法 运行 它没有具体问题，有一个 pip 安装，我只是没能正确开始使用 Scrapyd-Client。 SOF 上的一些人声称已经能够在 Windows 上 运行 Scrapyd，但是 Linux 在这个工具方面处于领先地位，所以我不会反对当前。
Scrapy 是一个很棒的工具，但是让 Scrapyd 与 Windows 一起工作至少对我来说并不是我所期望的体验，所以暂时我会使用基本的 Windows 任务计划程序选项.