如何将 scrapyd 部署到网络

How to deploy scrapyd to a network

我目前在我的机器上本地有一个 scrapyd up 和 运行ning 实例。这个 scrapyd 实例需要对我雇主网络上的其他 PC 可用。我读过 scrapy-cloud (https://doc.scrapinghub.com/scrapy-cloud.html) 和其他基于云的服务。然而,我更愿意在我们的网络上托管 scrapyd,因为我构建的蜘蛛从存储在我们服务器上的 csv 文件中提取数据。

我搜索了 scrapyd 文档 (https://scrapyd.readthedocs.io/en/stable/) 并了解如何安装和 运行 scrapyd。我也很乐意将 scrapy 项目上传到 scrapyd 和 运行ning 特定的蜘蛛。

我需要采取哪些步骤才能使我的 scrapyd 实例可供我们网络上的其他机器使用?我们所有的 PC 和服务器 运行 在 windows OS

答案不需要是具体的分步指南。我只是在找人给我指出正确的方向,因为我不确定如何继续。

如果你在同一个ip范围内的局域网

你可以按照手册查看你的ip linux 中的 ifconfig windows

中的 ipconfig

和运行手册中的命令 curl http://localhost:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.egg

并用您的 IP 地址更改本地主机

比如你的ip是192.168.1.10

你会运行 在其他电脑上}.

curl http://192.168.1.10:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.egg

如果使用防火墙需要打开端口,如果不使用cURL windows可以下载安装: How do I install/set up and use cURL on Windows?

有关api的更多信息请查看手册