phantomjs 总是 return 在特定网站上找不到页面
phantomjs always return page not found on a particular website
我正在尝试从该网站获取体育比赛结果
但是我尝试从该网站获取的任何地址最终都找不到页面
当它在我自己的浏览器中打开时
这里是示例代码
var webPage = require('webpage');
var page = webPage.create();
page.onConsoleMessage = function(msg) {
console.log(msg);
}
page.open('http://oddsportal.com', function(status) {
page.evaluate(function() {
console.log(document.getElementsByTagName('body')[0].innerHTML);
});
phantom.exit();
});
我不知道他们是如何阻止 phantom js 的,我也不知道从哪里开始.....
phantom js headers 中有什么东西可以提醒他们吗?
我将不胜感激关于如何解决此问题的任何建议或意见
这是网站输出
<a href="http://www.oddsportal.com">
<img src="logo.jpg" />
</p>
<div id="main" class="home">
<div id="breadcrumb">
<strong>The page you requested is not available.</strong>
</div>
<hr class="hidden">
<div id="col-content">
<h1>Page not found</h1>
<p>This page not exist on OddsPortal.com!</p>
</div>
<div class="break"></div>
<hr class="hidden">
</div>
<div id="footer">
<p class="l">Copyright © 2008-12 OddsPortal.com (v)</p>
<div class="break"></div>
</div>
尝试使用 page.settings.userAgent
更改用户代理:
var webPage = require('webpage');
var page = webPage.create();
page.settings.userAgent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.120 Safari/537.36';
//...
我正在尝试从该网站获取体育比赛结果
但是我尝试从该网站获取的任何地址最终都找不到页面
当它在我自己的浏览器中打开时
这里是示例代码
var webPage = require('webpage');
var page = webPage.create();
page.onConsoleMessage = function(msg) {
console.log(msg);
}
page.open('http://oddsportal.com', function(status) {
page.evaluate(function() {
console.log(document.getElementsByTagName('body')[0].innerHTML);
});
phantom.exit();
});
我不知道他们是如何阻止 phantom js 的,我也不知道从哪里开始.....
phantom js headers 中有什么东西可以提醒他们吗?
我将不胜感激关于如何解决此问题的任何建议或意见
这是网站输出
<a href="http://www.oddsportal.com">
<img src="logo.jpg" />
</p>
<div id="main" class="home">
<div id="breadcrumb">
<strong>The page you requested is not available.</strong>
</div>
<hr class="hidden">
<div id="col-content">
<h1>Page not found</h1>
<p>This page not exist on OddsPortal.com!</p>
</div>
<div class="break"></div>
<hr class="hidden">
</div>
<div id="footer">
<p class="l">Copyright © 2008-12 OddsPortal.com (v)</p>
<div class="break"></div>
</div>
尝试使用 page.settings.userAgent
更改用户代理:
var webPage = require('webpage');
var page = webPage.create();
page.settings.userAgent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.120 Safari/537.36';
//...