Symfony2 爬虫不断返回重定位页面

Question

我正在尝试抓取一个网页，但是这个特定的页面保持 returning if 和 else 语句包含 window.location.replace('web_address'); 如果我做一个 echo $crawler->html(); 然后它实际上重定向我的网络应用程序到我实际上试图抓取的那个新网页。

该页面是 Salesforce。我不确定他们是否有某种机制可以对任何传入的页面请求使用重定向。我能够安全地登录，但我就是无法检索实际的页面内容。

有没有人知道解决这个问题的方法或者可能有不同的方法 $client->request('GET', $link);？

谢谢

（编辑：实际 return 我进入 code/crawler）

if (this.SfdcApp && this.SfdcApp.projectOneNavigator) { 
    SfdcApp.projectOneNavigator.handleRedirect('https://company.my.salesforce.com?ec=302&startURL=%2Fhome%2Fhome.jsp'); 
} 
else if (window.location.replace) { 
    window.location.replace('https://company.my.salesforce.com?ec=302&startURL=%2Fhome%2Fhome.jsp'); 
} 
else { 
    window.location.href ='https://company.my.salesforce.com?ec=302&startURL=%2Fhome%2Fhome.jsp'; 
}

我该如何解决这个问题？我能否以某种方式从 Salesforce 上的页面获取实际页面内容，或者永远 scrape/goute/curl return 像这样的重定向？

Answer 1

我的解决方案是只使用 RESTful API。

Here's a super easy article how to do it using PHP.

您需要一个 SalesForce Developer Edition 帐户才能创建 API 密钥。