节点无法抓取某些页面

Question

我不知道这是否与 coldfusion 页面有关，但我无法抓取这些 .cfm 页面

在命令行中的目录中 request 运行:

node> var request = require('request');
node> var url = 'http://linguistlist.org/callconf/browse-conf-action.cfm?confid=173395';
node> request(url, function (err, res, body) { if (err) { console.log(err) } else { console.log('body:', body) }; });

我试过其他一些 .cfm 网站，但它们有效，但我只得到空白结果，所以我不知道它可能是什么

注意：我也试过准系统require('http').get(url,…)路线，但我得到相同的空白结果

Answer 1

我明白了！（最后）

这个网络服务器真的需要知道如何回答你。试试这个（对我有用）

var request = require('request');
var options = {
  url: 'http://linguistlist.org/callconf/browse-conf-action.cfm?confid=173395',
  headers: {
   'Accept-Encoding':'none'
  }
};
request(options, function (err, res, body) { if (err) { console.log(err) } else { console.log('body:', body) }; });

节点无法抓取某些页面

Node can't scrape certain pages

node.js

request

scrape