如何将 scrapyd 部署到网络
How to deploy scrapyd to a network
我目前在我的机器上本地有一个 scrapyd up 和 运行ning 实例。这个 scrapyd 实例需要对我雇主网络上的其他 PC 可用。我读过 scrapy-cloud (https://doc.scrapinghub.com/scrapy-cloud.html) 和其他基于云的服务。然而,我更愿意在我们的网络上托管 scrapyd,因为我构建的蜘蛛从存储在我们服务器上的 csv 文件中提取数据。
我搜索了 scrapyd 文档 (https://scrapyd.readthedocs.io/en/stable/) 并了解如何安装和 运行 scrapyd。我也很乐意将 scrapy 项目上传到 scrapyd 和 运行ning 特定的蜘蛛。
我需要采取哪些步骤才能使我的 scrapyd 实例可供我们网络上的其他机器使用?我们所有的 PC 和服务器 运行 在 windows OS
答案不需要是具体的分步指南。我只是在找人给我指出正确的方向,因为我不确定如何继续。
如果你在同一个ip范围内的局域网
你可以按照手册查看你的ip
linux 中的 ifconfig
windows
中的 ipconfig
和运行手册中的命令
curl http://localhost:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.egg
并用您的 IP 地址更改本地主机
比如你的ip是192.168.1.10
你会运行
在其他电脑上}.
curl http://192.168.1.10:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.egg
如果使用防火墙需要打开端口,如果不使用cURL windows可以下载安装:
How do I install/set up and use cURL on Windows?
有关api的更多信息请查看手册
我目前在我的机器上本地有一个 scrapyd up 和 运行ning 实例。这个 scrapyd 实例需要对我雇主网络上的其他 PC 可用。我读过 scrapy-cloud (https://doc.scrapinghub.com/scrapy-cloud.html) 和其他基于云的服务。然而,我更愿意在我们的网络上托管 scrapyd,因为我构建的蜘蛛从存储在我们服务器上的 csv 文件中提取数据。
我搜索了 scrapyd 文档 (https://scrapyd.readthedocs.io/en/stable/) 并了解如何安装和 运行 scrapyd。我也很乐意将 scrapy 项目上传到 scrapyd 和 运行ning 特定的蜘蛛。
我需要采取哪些步骤才能使我的 scrapyd 实例可供我们网络上的其他机器使用?我们所有的 PC 和服务器 运行 在 windows OS
答案不需要是具体的分步指南。我只是在找人给我指出正确的方向,因为我不确定如何继续。
如果你在同一个ip范围内的局域网
你可以按照手册查看你的ip linux 中的 ifconfig windows
中的 ipconfig和运行手册中的命令 curl http://localhost:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.egg
并用您的 IP 地址更改本地主机
比如你的ip是192.168.1.10
你会运行 在其他电脑上}.
curl http://192.168.1.10:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.egg
如果使用防火墙需要打开端口,如果不使用cURL windows可以下载安装: How do I install/set up and use cURL on Windows?
有关api的更多信息请查看手册