防止在nodejs请求上加载图像

Question

我正在使用 request and cheerio 在 nodejs 中解析一些网页。我们每天这样做超过 20 次，因此我们失去了很多带宽来加载图像和 css 对解析无用的内容。

我使用了这样的代码：

request(url, function (error, response, html) {
  if (!error && response.statusCode == 200) {
    var $ = cheerio.load(html);
    $('.n-item').each(function(i, element){
      //do something
    });
  }
});

1- 我想知道 request 加载 images/content 并可能丢失我的服务器带宽是正确的吗？

2- 告诉我防止加载的解决方案 images/content

谢谢

Answer 1

请求本身不解析 HTML 代码或运行 Javascript。它只会下载源代码或您输入的 URL。如果它是一个普通网站，它实际上是 returns HTML 来源。

唯一可以使用 "request" 提取图像的情况是使用直接链接到图像的 URL。例如 http://example.com/image.jpg

防止在nodejs请求上加载图像

prevent load image on nodejs request

parsing

request

node.js

web-scraping

cheerio