瓶颈好像不是真的限速请求?
Bottleneck does not seem to actually rate-limit requests?
我正在编写一个需要遍历多个项目的程序,依次对每个项目执行 HTTP GET 请求。 HTTP GET 请求被第三方 API 限制为每分钟最多 5 个请求。我正在尝试使用 Bottleneck 将我的请求限制在此 API,但收效甚微。
我的问题的最小示例如下:
// index.ts
import * as API from "./lib/API";
(async () => {
try {
//Gather all requests
const list_of_requests = await API.Requests.get_list_of_all_requests(...);
// Fire off each request at the appropriate rate
list_of_requests.forEach(async (request) => {
try {
const request_result = await API.ResultGetter.get_result(...);
} catch (error) {
console.log(error.message);
}
});
} catch (error) {
console.log(error.name + ": " + error.message);
}
})();
在我的 ./lib/API
内:
// API.ts
import { AxiosRequestConfig } from "axios";
import { scheduleRequest } from "../util/Limiter";
export async function ResultGetter(...) {
const requestURL: string = "https://www.website.ext/...";
const requestConfig: AxiosRequestConfig = {
url: requestURL,
method: "GET",
responseType: "json",
};
return await scheduleRequest(requestConfig);
}
最后,在我的 util/Limiter
// Limiter.ts
import Bottleneck from "bottleneck";
import axios, { AxiosRequestConfig, AxiosResponse } from "axios";
/*
5 API requests per minute; 500 API requests per day
*/
export const limiter = new Bottleneck({
reservoir: 500,
reservoirRefreshAmount: 500,
reservoirRefreshInterval: 24 * 60 * 60 * 1000,
maxConcurrent: 1,
mintime: Math.ceil(1 / (5 / 60 / 1000)),
});
export async function scheduleRequest(
request: AxiosRequestConfig
): Promise<AxiosResponse<any>> {
return limiter.schedule(() => axios(request));
}
然而,当我实际使用这个程序时,请求以尽可能快的速度触发。我真的不确定在这种情况下我错过了什么。据我了解,limiter.schedule(...)
应该返回一个承诺,该承诺会在请求发生时解决,并受限于设置的速率限制。但这不是这里发生的事情。
原来只是一个错别字而已。
在我的原始代码中,我使用以下代码来定义我的速率限制器:
export const limiter = new Bottleneck({
reservoir: 500,
reservoirRefreshAmount: 500,
reservoirRefreshInterval: 24 * 60 * 60 * 1000,
maxConcurrent: 1,
mintime: Math.ceil(1 / (5 / 60 / 1000)),
});
嗯,我用大写 T
写 mintime
而不是 minTime
的事实让世界变得完全不同。
我正在编写一个需要遍历多个项目的程序,依次对每个项目执行 HTTP GET 请求。 HTTP GET 请求被第三方 API 限制为每分钟最多 5 个请求。我正在尝试使用 Bottleneck 将我的请求限制在此 API,但收效甚微。
我的问题的最小示例如下:
// index.ts
import * as API from "./lib/API";
(async () => {
try {
//Gather all requests
const list_of_requests = await API.Requests.get_list_of_all_requests(...);
// Fire off each request at the appropriate rate
list_of_requests.forEach(async (request) => {
try {
const request_result = await API.ResultGetter.get_result(...);
} catch (error) {
console.log(error.message);
}
});
} catch (error) {
console.log(error.name + ": " + error.message);
}
})();
在我的 ./lib/API
内:
// API.ts
import { AxiosRequestConfig } from "axios";
import { scheduleRequest } from "../util/Limiter";
export async function ResultGetter(...) {
const requestURL: string = "https://www.website.ext/...";
const requestConfig: AxiosRequestConfig = {
url: requestURL,
method: "GET",
responseType: "json",
};
return await scheduleRequest(requestConfig);
}
最后,在我的 util/Limiter
// Limiter.ts
import Bottleneck from "bottleneck";
import axios, { AxiosRequestConfig, AxiosResponse } from "axios";
/*
5 API requests per minute; 500 API requests per day
*/
export const limiter = new Bottleneck({
reservoir: 500,
reservoirRefreshAmount: 500,
reservoirRefreshInterval: 24 * 60 * 60 * 1000,
maxConcurrent: 1,
mintime: Math.ceil(1 / (5 / 60 / 1000)),
});
export async function scheduleRequest(
request: AxiosRequestConfig
): Promise<AxiosResponse<any>> {
return limiter.schedule(() => axios(request));
}
然而,当我实际使用这个程序时,请求以尽可能快的速度触发。我真的不确定在这种情况下我错过了什么。据我了解,limiter.schedule(...)
应该返回一个承诺,该承诺会在请求发生时解决,并受限于设置的速率限制。但这不是这里发生的事情。
原来只是一个错别字而已。
在我的原始代码中,我使用以下代码来定义我的速率限制器:
export const limiter = new Bottleneck({
reservoir: 500,
reservoirRefreshAmount: 500,
reservoirRefreshInterval: 24 * 60 * 60 * 1000,
maxConcurrent: 1,
mintime: Math.ceil(1 / (5 / 60 / 1000)),
});
嗯,我用大写 T
写 mintime
而不是 minTime
的事实让世界变得完全不同。