scrapy 307 重定向到同一页面
scrapy 307 redirects to same page
我正在尝试从 jabong 抓取 产品详细信息，当我 抓取 时脚本 运行 很好] 一个 URL 但当我在 yield request
中使用多个 url 时它重定向到 307
我试过私人代理、用户代理、禁用 cookie、启用 dont_merge cookie
这是我得到的：
2019-05-20 03:41:01 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (307) to <GET https://www.jabong.com/Hangup-Green-Solid-Nehru-Jacket-7282330.
htm> from <GET https://www.jabong.com/Hangup-Green-Solid-Nehru-Jacket-7282330.htm>
是的，他们对 Chrome 做同样的事情，这很可能是因为您禁用了 cookie。
您需要花时间找出他们关心的 cookie，以及使用相同的 cookie 值是否会损害您爬行的匿名性。这对于 SO 答案来说太耗时了，但应该很简单。
我正在尝试从 jabong 抓取 产品详细信息，当我 抓取 时脚本 运行 很好] 一个 URL 但当我在 yield request
307
我试过私人代理、用户代理、禁用 cookie、启用 dont_merge cookie
这是我得到的：
2019-05-20 03:41:01 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (307) to <GET https://www.jabong.com/Hangup-Green-Solid-Nehru-Jacket-7282330.
htm> from <GET https://www.jabong.com/Hangup-Green-Solid-Nehru-Jacket-7282330.htm>
是的，他们对 Chrome 做同样的事情，这很可能是因为您禁用了 cookie。
您需要花时间找出他们关心的 cookie，以及使用相同的 cookie 值是否会损害您爬行的匿名性。这对于 SO 答案来说太耗时了，但应该很简单。