在远程机器上部署 scrapy

deploy scrapy in a remote machine

你好,我正在使用 scrapy,我已经设法用 scrapyd 部署了它 - 这在我的本地主机上工作得很好,但是当涉及到 运行 它来自另一台计算机时,它无法正常工作。

这个命令工作正常: curl http://localhost:6800/schedule.json -d project=webplode -dspider=pingwebsite -d file=./testfiles/testfiles.xlsx

但是说到 运行 这个:

curl http://myip:6800/schedule.json -d project=webplode -d spider=pingwebsite -d file=./testfiles/testfiles.xlsx

我收到以下错误消息:

Failed to connect to myip port 6800: Connection refused

这是我的 scrapy.cfg

# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.io/en/latest/deploy.html

[settings]
default = webplode.settings

[deploy:local]
url = http://myip:6800/
project = webplode

我没有找到 scrapyd.conf,我正在 运行windows

最后我设法解决了我的问题,我只需要更改我的 scraper 的设置并添加我的 ip 地址,如下所示:

scrapy.cfg :

[settings]
default = webplode.settings

[scrapyd]
bind_address= myip

[deploy:local]
url = http://localhost:6800/
project = webplode