在 NodeJS 服务器之间发送文件的最有效方式是什么？

Question

简介

假设在同一个本地网络上，我们有两个使用 Express 设置的 Node JS 服务器：用于 API 的服务器 A 和用于表单的服务器 F。

服务器 A 是一个 API 服务器，它接收请求并将其保存到 MongoDB 数据库（文件存储为缓冲区，其详细信息存储为其他字段）
服务器 F 提供表单，处理表单 post 并将表单的数据发送到服务器 A。

在接收服务器为 Express API 的两个 NodeJS 服务器之间发送文件的最有效方法是什么？文件大小在哪里重要？

1。 HTTP方式

如果我发送的文件是 PDF 文件（不会超过 50mb），通过 HTTP 将整个内容作为字符串发送是否有效？

算法如下：

服务器 F 使用 https://www.npmjs.com/package/multer 处理文件请求并保存文件
然后服务器 F 读取此文件并通过 https://github.com/request/request 发出 HTTP 请求以及文件的一些详细信息
服务器 A 收到此请求并将文件内容从字符串转换为缓冲区，并在 MongoDB 中保存一条记录以及文件详细信息。

在这个算法中，服务器A（存储到MongoDB时）和服务器F（发送到服务器A时）都将文件读入内存，两者之间的请求服务器与文件的大小大致相同。（50Mb 的请求可以吗？）

但是，要考虑的一件事是 - 使用此方法 - 我将在整个过程中使用 API 的 ExpressJS 样式，并且它将与应用程序的其余部分保持一致 /list, /details 请求也在路由中定义。我喜欢一致性。

2。 Socket.IO方式

与此算法相反，我探索了 https://github.com/nkzawa/socket.io-stream 脱离服务器 A 上 HTTP API 一致性的方法（因为 socket.io 事件的处理程序是不是在路由中定义，而是在具有 var server = http.createServer(app); 的文件中定义）。

服务器 F 处理 routes/some_route.js 中的表单数据：

router.post('/', multer({dest: './uploads/'}).single('file'), function (req, res) {
    var api_request = {};
    api_request.name = req.body.name;
    //add other fields to api_request ...

    var has_file = req.hasOwnProperty('file');

    var io = require('socket.io-client');

    var transaction_sent = false;
    var socket = io.connect('http://localhost:3000');
    socket.on('connect', function () {
        console.log("socket connected to 3000");

        if (transaction_sent === false) {
            var ss = require('socket.io-stream');
            var stream = ss.createStream();

            ss(socket).emit('transaction new', stream, api_request);

            if (has_file) {
                var fs = require('fs');
                var filename = req.file.destination + req.file.filename;

                console.log('sending with file: ', filename);

                fs.createReadStream(filename).pipe(stream);
            }

            if (!has_file) {
                console.log('sending without file.');
            }
            transaction_sent = true;

            //get the response via socket
            socket.on('transaction new sent', function (data) {
                console.log('response from 3000:', data);
                //there might be a better way to close socket. But this works.
                socket.close();
                console.log('Closed socket to 3000');

            });

        }


    });


});

我说过我要处理小于 50Mb 的 PDF 文件。但是，如果我将来使用此程序发送更大的文件，socket.io 是不是更好的处理 1GB 文件的方法，因为它使用的是流？

此方法确实会发送文件和详细信息，但我是这个库的新手，不知道它是否应该用于此目的，或者是否有更好的利用方法。

最后的想法

我应该探索哪些替代方法？

我是否应该通过 SCP 发送文件并发出 HTTP 请求，其中包含文件的详细信息，包括我发送文件的位置 - 因此，将文件协议和 API 请求分开？
我是否应该始终使用流，因为它们不会将整个文件存储到内存中？（这就是他们的工作方式，对吧？）
这个https://github.com/liamks/Delivery.js?

参考文献：

File/Data transfer between two node.js servers 这让我尝试了套接字流方式。
用于 HTTP 方式

Answer 1

有很多方法可以实现这一点，但要做到正确的方法并不多！

当您将 socket io 和 wesockets 与浏览器一起使用时，它们是高效的，但由于您不这样做，因此没有必要。

您可以尝试的第一种方法是使用 nodejs 的内置 Net 模块，基本上它会在服务器之间建立 tcp 连接并传递数据。

你还应该记住，你需要发送数据块而不是整个文件，net 模块的 socket.write 方法似乎很适合你的情况检查它：https://nodejs.org/api/net.html

但根据文件大小和并发性，内存消耗可能会非常大。

如果您在两台服务器上都是运行 linux，您甚至可以使用名为 scp

的简单 linux 命令将文件发送到零点

nohup scp -rpC /var/www/httpdocs/* remote_user@remote_domain.com:/var/www/httpdocs &

你甚至可以用 windows 到 linux 或其他方式来做到这一点。

http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html

windows 的客户端 scp 是 pscp.exe

希望对您有所帮助！

在 NodeJS 服务器之间发送文件的最有效方式是什么？

What is the most efficient way of sending files between NodeJS servers?

file-transfer

node.js

express

简介

1。 HTTP方式

2。 Socket.IO方式

最后的想法

参考文献：