cURL 结果为 503;页面在浏览器中工作正常。

cURL results in 503; page works fine in browser.

我正在尝试使用 cURL 从网页中实用地收集信息。我需要的信息非常基本,页面也很基本。

使用 cURL 时,我收到 503 错误。当我在同一台机器的浏览器中访问同一页面时,页面加载得很好。我读到这可能是由于网站要求在查询时传递 cookie 造成的。我试过这个,但不可否认,我可能做错了(我从网络浏览器的检查器中获取了 cookie)。

curl --cookie "sessionId=.eJxrYKotZNQI5S9OLS7OzM-LT81LTMpJTfFmChVIzEktKolPzkhNzo4vycxNLWRKTkksSQUxueCMQuZQLvaHHGI82lqMp0KTCypLqrjiQ0OcuQpZNIMKWduCCtlCuUvyi-NLC0B6UgrZO0v1ACyMJy0:1dk8X0:WIgK35IaFa7RbCe7EqpSMtLjK9w" https://www.appannie.com/en/apps/ios/app/284815942/ -o /tmp/test.html

我是一个非常基础的用户;具有非常基本的知识。我很有可能遗漏了一些明显的东西。我已经收集到我试图使用 nginx 访问的站点,如果这是一个重要的警告。

有些站点将禁用卷曲 user-agent,有些站点将禁用缺少 headers 的浏览。我在 curl 下面试过,效果很好

curl 'https://www.appannie.com/en/apps/ios/app/284815942/' -H 'pragma: no-cache' -H 'dnt: 1' -H 'accept-encoding: gzip, deflate, br' -H 'accept-language: en-US,en;q=0.8' -H 'upgrade-insecure-requests: 1' -H 'user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36' -H 'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8' -H 'cache-control: no-cache' -H 'authority: www.appannie.com' --compressed

这就是浏览器实现它的方式,这就是您应该尝试和复制的方式

检查您的“~/.curlrc”文件,删除以“prxoy”开头的行。
有时可能会导致问题。