使用 nodejs 的网络请求进行 Web 抓取

Web Scraping using network request with nodejs

我刚刚被分配了一项涉及 nodejs 中的网络请求(发送 get/post 请求)的任务,例如获取 .php 或 .json 文件。

我已经通过网络进行了搜索,但没有成功。有指导线吗?我从哪里开始?

当您想发送 http (https) 请求形式 Node.js 时,有很多选项:

1.使用内置 http module

这是更底层的做事方式,如果您是使用 Node.js 的新手,我不会推荐它。当您需要完全控制请求或您确实需要速度时,您会使用这种方法。

2。使用第三方库

这是比较常见的发送http请求的方式。 Node.js 有许多 http 库,其中少数是:

Request 是最常用的 http 请求库之一,但由于它已被弃用一段时间,因此不应在新软件中使用它。

Axios 是一个基于 Promise 的 http 客户端。

与Axios类似,SuperAgent是一个基于Promise的http客户端,但是它有一些有用的功能,比如URL query parameters

Got 也是一个基于 Promise 的 http 客户端,但它没有其他 http 客户端那么冗长。

选择您的首选选项后,您应该可以轻松找到它的文档。