将变量传递给 Scrapy 中的 SplashRequest 回调函数

Question

我有一个迷你项目，第一页上有一个 URL 列表，然后我必须关注这些 URL 列表中的每个 URL 并打开每个 URL 都带有 SplashRequest，因为我需要返回的页面与其 JavaScript 组件一起呈现。

现在，我对所有这些网络抓取和 scrapy-splash 都很陌生，但基本上我目前被困住了，因为我正在尝试弄清楚如何通过使用 SplashRequest 时回调函数的变量。基本上，我不知道如何将变量传递给下面的回调函数：

  yield SplashRequest(url=someUrl,callback=theCallBackFunction,args={
               //some args
            })

我知道对于没有Splash的普通Scrapy，我们可以说

yield response.follow(url=someUrl,callback=theCallBackFunction,meta={
     //some variables we want to pass to callback function
}

但我不知道如何使用 Scrapy-Splash 来实现。

是的，向在这方面有更多经验的任何人寻求帮助。

提前致谢！

Answer 1

我自己找到了这个问题的答案，显然 SplashRequest 也像 response.follow 一样以 meta 作为参数，所以将变量传递给回调函数的机制与使用普通的scrapy完全相同。

Passing variable to SplashRequest callback function in Scrapy