从 wasm 修改 canvas

Question

是否可以通过 Web Assembly 有效地修改 html5 canvas？

更新：

var imageData = context.getImageData(x, y, w, h)
var buffer = imageData.data.buffer;  // ArrayBuffer

如果缓冲区是可写的，可能是这种方式。

Answer 1

WebAssembly 实例通常有一个线性内存区域，它作为数组缓冲区暴露给 JavaScript API。这可以在 JS 中分配并在创建 WebAssembly 实例时传入，也可以由 WebAssembly 实例创建并导出到 JS 代码中。无论哪种方式，arraybuffer 都可用于高效地将数据复制进出 Canvas 元素（使用 createImageData、getImageData 和 putImageData）。

Answer 2

无论如何，您必须将像素复制到 WebAssembly.Memory 实例。然后修改复制回来。
我不知道为什么，但是 Uint8Array.set() 在最新的 Chrome 中并不快。最好把数据改成32位（new Uint32Array(your_uint8array)），然后用Uint32Array.set()复制。
请记住，canva 的 .getImageData()/.setImageData() 并不快。可能是因为他们做了 alpha 预乘和其他事情。

总结一下：你最大的速度损失将在 .getImageData/.setImageData 中，这是不可避免的。其他事情都有解决方法。

如果与优化后的JS相比，wasm会给你10-20%的收益，不会太多。

Answer 3

不，不在 WebAssembly 和 web-api 开发的这个阶段。使用 context.getImageData 你会得到一个新的 ImageData 对象，它有一个新的缓冲区，必须再次复制到你的 WebAssembly 实例的内存缓冲区中。但是如果你不需要从 canvas 读取，只需要写入，你可以在你的 WebAssembly 实例的内存中分配 ImageData.data。使用 ImageData 构造函数

imageData = new ImageData(new Uint8ClampedArray(waInstance.export.memory.buffer, byteOffset, width*height*4), width, height)

imageData 有一个指向您的数据的指针。在每次渲染时，在 WebAssembly 中进行工作并在 context.putImageData(imageData) 中使用相同的 imageData，每个周期只执行一次大数据复制。

Answer 4

我知道一个解决方案已被接受，但如果其他人来到这里寻找替代方案，我会 post 无论如何。

我没有积极参与 Rust 的 wasm-bindgen 工具的开发，但它目前可以通过 web-sys crate 修改 canvas 元素。下面显示的代码取自 wasm-bindgen 书页上的 link。


use std::f64;
use wasm_bindgen::prelude::*;
use wasm_bindgen::JsCast;

#[wasm_bindgen(start)]
pub fn start() {
    let document = web_sys::window().unwrap().document().unwrap();
    let canvas = document.get_element_by_id("canvas").unwrap();
    let canvas: web_sys::HtmlCanvasElement = canvas
        .dyn_into::<web_sys::HtmlCanvasElement>()
        .map_err(|_| ())
        .unwrap();

    let context = canvas
        .get_context("2d")
        .unwrap()
        .unwrap()
        .dyn_into::<web_sys::CanvasRenderingContext2d>()
        .unwrap();

    context.begin_path();

    // Draw the outer circle.
    context
        .arc(75.0, 75.0, 50.0, 0.0, f64::consts::PI * 2.0)
        .unwrap();

    // Draw the mouth.
    context.move_to(110.0, 75.0);
    context.arc(75.0, 75.0, 35.0, 0.0, f64::consts::PI).unwrap();

    // Draw the left eye.
    context.move_to(65.0, 65.0);
    context
        .arc(60.0, 65.0, 5.0, 0.0, f64::consts::PI * 2.0)
        .unwrap();

    // Draw the right eye.
    context.move_to(95.0, 65.0);
    context
        .arc(90.0, 65.0, 5.0, 0.0, f64::consts::PI * 2.0)
        .unwrap();

    context.stroke();
}

canvas 对象可以从转换为 web-assembly 的 Rust 代码访问。调用 web-assembly 代码的方法有很多种，但本示例建议的方法是使用包含这些内容的 index.js 文件，以及像 webpack 这样的打包器。

import("path/to/wasm/canvas/code").catch(console.error)

对于此的端到端演示，请遵循此 link 作为参考。

canvas hello world

从 wasm 修改 canvas

Modify canvas from wasm

html

canvas

webassembly