使用 nodejs 的网络请求进行 Web 抓取
Web Scraping using network request with nodejs
我刚刚被分配了一项涉及 nodejs 中的网络请求(发送 get/post 请求)的任务,例如获取 .php 或 .json 文件。
我已经通过网络进行了搜索,但没有成功。有指导线吗?我从哪里开始?
当您想发送 http (https) 请求形式 Node.js 时,有很多选项:
1.使用内置 http module
这是更底层的做事方式,如果您是使用 Node.js 的新手,我不会推荐它。当您需要完全控制请求或您确实需要速度时,您会使用这种方法。
2。使用第三方库
这是比较常见的发送http请求的方式。 Node.js 有许多 http 库,其中少数是:
- Request(已弃用)
Request 是最常用的 http 请求库之一,但由于它已被弃用一段时间,因此不应在新软件中使用它。
Axios 是一个基于 Promise 的 http 客户端。
与Axios类似,SuperAgent是一个基于Promise的http客户端,但是它有一些有用的功能,比如URL query parameters。
Got 也是一个基于 Promise 的 http 客户端,但它没有其他 http 客户端那么冗长。
选择您的首选选项后,您应该可以轻松找到它的文档。
我刚刚被分配了一项涉及 nodejs 中的网络请求(发送 get/post 请求)的任务,例如获取 .php 或 .json 文件。
我已经通过网络进行了搜索,但没有成功。有指导线吗?我从哪里开始?
当您想发送 http (https) 请求形式 Node.js 时,有很多选项:
1.使用内置 http module
这是更底层的做事方式,如果您是使用 Node.js 的新手,我不会推荐它。当您需要完全控制请求或您确实需要速度时,您会使用这种方法。
2。使用第三方库
这是比较常见的发送http请求的方式。 Node.js 有许多 http 库,其中少数是:
- Request(已弃用)
Request 是最常用的 http 请求库之一,但由于它已被弃用一段时间,因此不应在新软件中使用它。
Axios 是一个基于 Promise 的 http 客户端。
与Axios类似,SuperAgent是一个基于Promise的http客户端,但是它有一些有用的功能,比如URL query parameters。
Got 也是一个基于 Promise 的 http 客户端,但它没有其他 http 客户端那么冗长。
选择您的首选选项后,您应该可以轻松找到它的文档。