如何在 scrapy-splash 中设置启动超时？

Question

我使用 scrapy-splash 抓取网页，并在 docker 上使用 运行 启动服务。

常见：

docker run -p 8050:8050 scrapinghub/splash --max-timeout 3600

但是我遇到了 504 错误。

"error": {"info": {"timeout": 30}, "description": "Timeout exceeded rendering page", "error": 504, "type": "GlobalTimeoutError"}

尽管我尝试添加 splash.resource_timeout、request:set_timeout 或 SPLASH_URL = 'http://localhost:8050?timeout=1800.0'，但没有任何改变。

感谢您的帮助。

Answer 1

我使用 scrapy-splash 包并在 SplashRequest 的 args 参数中设置超时，如下所示：

yield scrapy_splash.SplashRequest(
    url, self.parse, endpoint='execute',
    args={'lua_source': script, 'timeout': 3600})

对我有用。