scrapy 中的飞溅问题

Question

大家好，我看到了很多关于此的问题。我知道 javascript 动态页面将使用 scrapyjs 或像 selenium 或 phantomjs 这样的网络驱动程序呈现。 webdriverkit 有点慢。我希望有人指导我 link

查看交易按钮前的价格信息。我不知道哪个 js 正在为此使用 splash、scrapyjs 有人可以帮我这个 link.

提前致谢。

编辑

根据安德烈斯的回复，我重新创建了 XHR 请求。当我们在浏览器 window 中输入 XHR 请求 url 时，因为如果第一次点击它是一个 GET 方法，我会得到部分 json 输出。如果我们下次点击重新加载，它会加载更多看起来很奇怪的数据。任何人都可以帮助我吗？提前致谢

Answer 1

当你请求这个URL:

http://ar.trivago.com/?iPathId=38715&iGeoDistanceItem=47160&aDateRange%5Barr%5D=2016-01-01&aDateRange%5Bdep%5D=2016-01-02&iRoomType=7&tgs=4716002&aHotelTestClassifier=&aPriceRange%5Bfrom%5D=0&aPriceRange%5Bto%5D=0&iIncludeAll=0&iGeoDistanceLimit=20000&aPartner=&iViewType=0&bIsSeoPage=false&bIsSitemap=false&

XHR 请求发送至：

http://ar.trivago.com/search/region?iPathId=38715&bDispMoreFilter=false&iSlideOutItem=47160&aDateRange%5Barr%5D=2016-01-01&aDateRange%5Bdep%5D=2016-01-02&aCategoryRange=0%2C1%2C2%2C3%2C4%2C5&iRoomType=7&sOrderBy=relevance%20desc&aPartner=&aOverallLiking=1%2C2%2C3%2C4%2C5&iGeoDistanceLimit=20000&iOffset=0&iLimit=25&iIncludeAll=0&bTopDealsOnly=false&iViewType=0&aPriceRange%5Bfrom%5D=0&aPriceRange%5Bto%5D=0&iGeoDistanceItem=47160&aGeoCode%5Blng%5D=-0.1589&aGeoCode%5Blat%5D=51.513802&bIsSeoPage=false&mgo=false&bHotelTestContext=false&th=false&aHotelTestClassifier=&bSharedRooms=false&bIsSitemap=false&rp=&sSemKeywordInfo=&tgs=4716002&bRecommendedItem=false&iFilterTab=0&&_=1446673248317

在哪里可以找到这些值（JSON 格式）：

这里显示的是哪些：

所以我认为您不需要任何 ScrapyJS 或 PhantomJS 来抓取该信息。只需了解它从哪里获取信息并直接抓取端点。