Underscore.js 油门不工作

Underscore.js throttle not working

Objective

找出我的代码有什么问题,或者 underscore.js 油门是否正常工作。

背景

我在一个文件中有一个巨大的邮政编码列表,我正在读取这些代码并将它们粘贴到控制台上。

我正在尝试使用 Underscore.js throttle() function,但是我的代码在运行两次后停止(即使我有几十个),并且从未打印其余值。

代码

我的代码在一个非常简单的 NodeJS 项目中。我创建了一个 MCVE 我面临的情况:

"use strict";

//requiremetns
let fs = require('fs');
let readLine = require('readline');
let _ = require('underscore');

//constants
const INPUT_FILE = 'dataset.txt';
const RADIX_CONVERSATION = 10;
const THROTTLE_DELAY = 500;

let init = function() {

  let lineReader = readLine.createInterface({
    input: fs.createReadStream(INPUT_FILE),
    output: process.stdout,
    terminal: false
  });

  let throttledRequestFn = _.throttle(requestFn, THROTTLE_DELAY);

  lineReader.on('line', function(line) {
    line = line.trim();

    if (_.isNaN(parseInt(line, RADIX_CONVERSATION))) {
      //Do some stuff
    }
    else {
      throttledRequestFn('mahCountry', line);
    }
  });
};

let requestFn = function(country, postalCode){
  console.log('request for ' + country + ' and postal ' + postalCode + ' done');
  return false;
};


init();

在这里,我首先从阅读文件开始,一次一行。然后如果我正在阅读的行是一个数字,我打印一些东西,否则什么都不打印。

以下是测试文件:

Vietnam
000000  
100000
160000  
170000  
180000  
200000
220000
230000
240000  
250000  
260000
270000
280000
290000  
300000  
310000  
320000  
330000
350000
360000
380000
390000
400000  
410000  
420000
430000  
440000
460000  
480000
510000
520000
530000
550000
560000
570000  
580000  
590000
600000
620000
630000
640000  
650000  
660000
670000
700000
790000  
800000
810000  
820000
830000
840000  
850000
860000  
870000  
880000  
890000  
900000
910000
920000
930000  
940000
950000
960000
970000

问题

在我看来,我的代码应该每秒发出 2 个请求,每个请求之间有 500 毫秒的延迟。它应该打印测试文件中的所有代码。 但是,我从未见过超过第二个值的任何东西!为什么会这样?

throttle 函数正在按预期运行。来自 documentation:

Useful for rate-limiting events that occur faster than you can keep up with.

这意味着您的包装函数可能 比您想要的 更少被调用。

您真正想要的可能是某种队列。 Underscore 不提供,但异步库提供:http://caolan.github.io/async/docs.html#.queue

let fs = require('fs');
let readLine = require('readline');
let _ = require('async');
// import the async library
let async = require('async');

const INPUT_FILE = 'dataset.txt';
const RADIX_CONVERSATION = 10;

// create the queue
var q = async.queue(function(task, callback) {
  // make sure the queue task calls the callback only after the THROTTLE_DELAY
  setTimeout(function () {
    requestFn(task.country, task.postalCode);
    callback();
  }, THROTTLE_DELAY);

}, 1)

q.drain = function () {
  console.log('all items have been processed');
};

let init = function () {
  let lineReader = readLine.createInterface({
    input: fs.createReadStream(INPUT_FILE),
    output: process.stdout,
    terminal: false
  });

  lineReader.on('line', function(line) {
    line = line.trim();

    if (_.isNaN(parseInt(line, RADIX_CONVERSATION))) {
      // Do some stuff
    }
    else {
      // Add the line to the Queue, to be executed later
      q.push({country: 'mahCountry', postalCode: line});
    }
  });
};

let requestFn = function(country, postalCode){
  console.log('request for ' + country + ' and postal ' + postalCode + ' done');
  return false;
};

init();

请注意在处理队列中元素的函数中使用 setTimeout。这样一来,您仍然只会每 500 毫秒发出一个请求,但会保证发出所有请求。