Node v12.7 如何实现原生的brotli、gzip、deflate压缩缓冲区

Question

我是一名前端开发人员，在这里提升我在后端的能力。

我有一个托管应用程序的 Node Express 服务器并且在同一个 server/AWS EC2 实例上提供 REST api。

我正在使用 express-static-gzip npm 包为静态应用程序包和资产启用 brotli 压缩。这太棒了。然而，我不得不为 Three.js objects 切换到 SSR，因为手机无法处理海量数据集解析。不幸的是，它没有对我的 REST 数据应用压缩。

目前，在此期间我禁用了 express-static-gzip 并启用了 compression npm 包。这仅启用 gzip 但同时适用于静态包和 REST API.

我特别需要在我的静态包和我的 REST API 上使用 GZIP/Deflate 后备压缩的 Brotli。未压缩的最大 GET 请求可以是 138MB。 GZIP 将其压缩到 12.8MB。我希望它与 Brotli 一起小于 10MB。

我的意图是对我的包进行 express-static-gzip 运行压缩，对我的 REST API 进行手动节点 zlib 压缩。如果这不可行，那么对所有内容进行手动节点 zlib 压缩！

我不了解有关缓冲区和后端类型的一些事情......也许你可以告诉我我在这里做错了什么：

app.get('/quakeData/:index', function(req, res){
    // Send Specific Selection or All
    const encoding = req.headers['accept-encoding'], 
          index    = req.params.index,
          jsonArr  = index != "all" ? [ quakes[index], threeData[index] ] : [ quakes, threeData ],
          jsonStr  = JSON.stringify(jsonArr),
          bData    = Buffer.from(jsonStr);

    if (encoding.includes('br')) {
        console.log("BROTLI RES");
        zlib.brotliCompress(bData, (err, result) => {
            console.log(result);
            !err ? res.send(result) : console.warn(err);
        });

    } else if (encoding.includes('gzip')) {
        console.log("GZIP RES");
        zlib.gzip(bData, (err, result) => {
            console.log(result);
            !err ? res.send(result) : console.warn(err);
        });

    } else if (encoding.includes('deflate')) {
        console.log("DEFLATE RES");
        zlib.deflate(bData, (err, result) => {
            console.log(result);
            !err ? res.send(result) : console.warn(err);
        })

    } else {
        console.warn("Unsupported Content Encoding Headers");
        res.setHeader('Content-Type', 'application/json');
        res.json(jsonArr);
    }

此外，我发现压缩模块删除了内容长度 headers，因为我的 XHR Progress API 代码停止工作。无论实施什么解决方案，我都需要内容长度 headers。我该怎么做？另外，有没有办法设置 GET 以提前接收内容长度以估计下载时间？

谢谢！

Answer 1

我已经开始工作了。尽管现在我遇到了如何使用不同压缩选项动态选择时间范围的问题。我将不得不修改它，因为压缩数据需要很长时间。

很明显，布罗特利要优越得多。我想当我每月重构和测试时，数据节省会令人印象深刻。下面是我得到的代码，上面的工作。当然，它会压缩每个 API 请求，这在生产中没有意义，但对测试很有用。

（更新）我将代码重构为更最终的实现，包括写入 txt 文件等。然而，未提供代码，这是 Brotli 与 GZIP 的最终压缩字节长度比较。 GZIP 压缩速度更快，但体积更大。

布罗特利：[5433、137501、952538、6438971]

GZIP: [6818, 194843, 1544908, 10451525]

上面的字节长度数组分别对应每小时、每天、每周、每月的数据集。压缩前的每月数据集约为 138MB。

此外，仅供参考，XHR 进度 API 已中断，因此即使您发送字节大小的内容 headers，它也无法正常工作。我必须创建一个单独的 API 来在数据 AJAX.

之前发送字节长度

const jsonStr  = JSON.stringify(jsonArr),
          bData    = Buffer.from(jsonStr, 'utf-8');

    if (encoding.includes('br')) {
        console.log("BROTLI RES");
        zlib.brotliCompress(bData, (err, result) => {
            console.log(result);
            res.writeHead(200, {
                'Content-Type':     'application/json',
                'Content-Encoding': 'br',
                'Content-Length':   bData.length
            });

            !err ? res.end(result) : console.warn(err);
        });

    } else if (encoding.includes('gzip')) {
        console.log("GZIP RES");
        zlib.gzip(bData, (err, result) => {
            console.log(result);
            res.writeHead(200, {
                'Content-Type':     'application/json',
                'Content-Encoding': 'gzip',
                'Content-Length':   bData.length
            });

            !err ? res.end(result) : console.warn(err);
        });

    } else if (encoding.includes('deflate')) {
        console.log("DEFLATE RES");
        zlib.deflate(bData, (err, result) => {
            console.log(result);
            res.writeHead(200, {
                'Content-Type':     'application/json',
                'Content-Encoding': 'deflate',
                'Content-Length':   bData.length
            });

            !err ? res.end(result) : console.warn(err);
        });

    } else {
        console.warn("Unsupported Content Encoding Headers");
        res.setHeader('Content-Type', 'application/json');
        return res.json(compressed);
    }

Node v12.7 如何实现原生的brotli、gzip、deflate压缩缓冲区

Node v12.7 How to implement native brotli, gzip, deflate compression buffer

node.js

compression

zlib