节点 http.request HEAD 问题

Question

使用方法 'HEAD' 发出大量请求时遇到问题。

我已将 async.queue 设置为 20，超时设置为 3000 毫秒。不管怎样，当我运行: 我看到 10-15 次成功，比一些暂停更成功，挂起......没有进一步发生。

如果我删除超时我有大约 10 次成功并挂起... 而且我也没有收到错误消息。

请求代码：

function getHeader(link)
{  
  var correctUrl = url.parse(link);  
  var options = {method: 'HEAD', host: correctUrl.hostname, port: 80, path: correctUrl.pathname};  
  var req = http.request(options, function(res) {   
    if(res.statusCode == 404 || res.statusCode == 500) return;      
    var x = {
      loc : link     
    };  

    if(typeof(res.headers['last-modified']) != "undefined") 
    {
      x.lastmod = dateConverter(res.headers['last-modified']);      
      console.log("Added lastmodify: " + x.lastmod);
    }
    console.log(res.headers);    
    parser.allObjects.push(x);    
  });  

  req.setTimeout(3000, function() {
    console.log("Timeout reached. Link:" + link);
    req.abort();
  });

  req.on('error', function (e) {
    console.log('problem with request: ' + e.message);
  });

  req.end();
}

队列在这里：

var queue = async.queue(function (href, callback) {
  getHeader(href,function(err){
    if(err) return callback(err);
    return callback();
  });
}, parser.serverMight); // this set to 20 at the mom (decreased from 50)

queue.drain = function() {
  formXml(null, parser.allObjects);
};

queue.push(toRequest, function(err) {
  if(err) console.log(err);
});

非常感谢任何帮助，谢谢。

Answer 1

呵呵，发现自己了。也许这可以帮助某人。所以错误很简单：我没有从 getHeader 函数回调，我只是使用 return。这就是队列无法开始下一轮的原因。 Httpreq 占用更少 space，所以我会保留它。

正确代码如下所示：

function getHeader(link, callback)
{   
  httpreq.get(link, function(err, res) {      
    if(err) return callback(err);
    if(res.statusCode == 404 || res.statusCode == 500)
    {
      parser.allHrefs.remove(parser.allHrefs.indexOf(link));
      console.log("Faced status code 404 || 500. url deleted: " + link);
      return callback(null);
    }
    //collect header-info
    var x = { loc : link };
    if(typeof(res.headers['last-modified']) != "undefined")     
      x.lastmod = dateConverter(res.headers['last-modified']);      

    console.log("Success adding header:" + x.loc);
    parser.allObjects.push(x);
    return callback(null);
  });   
}

p.s.: 为什么 'httpreq'（请求完整的请求主体）比 'http'（请求 HEAD）更快...

节点 http.request HEAD 问题

Node http.request HEAD issue

asynchronous

node.js