在远程机器上部署 scrapy
deploy scrapy in a remote machine
你好,我正在使用 scrapy,我已经设法用 scrapyd 部署了它 - 这在我的本地主机上工作得很好,但是当涉及到 运行 它来自另一台计算机时,它无法正常工作。
这个命令工作正常:
curl http://localhost:6800/schedule.json -d project=webplode -d
spider=pingwebsite -d file=./testfiles/testfiles.xlsx
但是说到 运行 这个:
curl http://myip:6800/schedule.json -d project=webplode -d
spider=pingwebsite -d file=./testfiles/testfiles.xlsx
我收到以下错误消息:
Failed to connect to myip port 6800: Connection refused
这是我的 scrapy.cfg
# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.io/en/latest/deploy.html
[settings]
default = webplode.settings
[deploy:local]
url = http://myip:6800/
project = webplode
我没有找到 scrapyd.conf,我正在 运行windows
最后我设法解决了我的问题,我只需要更改我的 scraper 的设置并添加我的 ip 地址,如下所示:
scrapy.cfg :
[settings]
default = webplode.settings
[scrapyd]
bind_address= myip
[deploy:local]
url = http://localhost:6800/
project = webplode
你好,我正在使用 scrapy,我已经设法用 scrapyd 部署了它 - 这在我的本地主机上工作得很好,但是当涉及到 运行 它来自另一台计算机时,它无法正常工作。
这个命令工作正常:
curl http://localhost:6800/schedule.json -d project=webplode -d
spider=pingwebsite -d file=./testfiles/testfiles.xlsx
但是说到 运行 这个:
curl http://myip:6800/schedule.json -d project=webplode -d
spider=pingwebsite -d file=./testfiles/testfiles.xlsx
我收到以下错误消息:
Failed to connect to myip port 6800: Connection refused
这是我的 scrapy.cfg
# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.io/en/latest/deploy.html
[settings]
default = webplode.settings
[deploy:local]
url = http://myip:6800/
project = webplode
我没有找到 scrapyd.conf,我正在 运行windows
最后我设法解决了我的问题,我只需要更改我的 scraper 的设置并添加我的 ip 地址,如下所示:
scrapy.cfg :
[settings]
default = webplode.settings
[scrapyd]
bind_address= myip
[deploy:local]
url = http://localhost:6800/
project = webplode