Halide：较大图像的去马赛克算法错误。似乎适用于 16x16 图像。

Question

我正在尝试为拜耳过滤器实现去马赛克算法，如本 pdf 的第 2.8 节（第 8 页）所示：http://www.arl.army.mil/arlreports/2010/ARL-TR-5061.pdf。我坚持尝试通过 RDom 实现功能。当我使用 16x16 图像时，轨迹实际上完成了，但是当我使用更大的图像（如 768x1280）时，轨迹卡在：

Store green.0(767, 1279);

以下是我的代码的简化版本：

#include "Halide.h"
#include<stdio.h>
#include<stdlib.h>
#include "halide_image_io.h"

using namespace Halide;


int main(int argc, char **argv) {

    Buffer<uint8_t> input = Tools::load_image(argv[1]);

    RDom r(2, input.width() - 4, 2, input.height() - 4);
    r.where((r.x % 2 == 0 && r.y % 2 == 0) || (r.x % 2 == 1 && r.y % 2 == 1));

    Var x("x"), y("y");

    Func g_n, w_n, g_n_est, green("green");

    g_n(x, y) = cast<float> (0);
    w_n(x, y) = cast<float> (0);
    g_n_est(x, y) = cast<float> (0);
    green(x, y) = cast<uint8_t> (0);


    printf("width: %d\n", input.width());
    printf("height: %d\n", input.height());
    printf("channels: %d\n", input.channels());

    g_n(r.x, r.y) = abs(cast<float>(input(r.x, r.y + 1) - input(r.x, r.y - 1))) + abs(cast<float>(input(r.x, r.y) - input(r.x, r.y - 2)));
    w_n(r.x, r.y) = cast<float>(1 / (1 + g_n(r.x, r.y)));
    g_n_est(r.x, r.y) = cast<float>(input(r.x, r.y - 1) + (input(r.x, r.y) - input(r.x, r.y - 2))) / 2;

    green(r.x, r.y) = cast<uint8_t>(w_n(r.x, r.y) * g_n_est(r.x, r.y));
    green.trace_stores();



    Buffer<uint8_t> temp = green.realize(input.width(), input.height());

    Tools::save_image(temp, "result.png");

}

这是 Halide 中的错误吗？在这种情况下，代码完成执行并保存 16x16 输入的输出图像，但卡在较大图像的跟踪中。

Answer 1

这真是一个非常非常低效的时间表。每个阶段在实现更新定义时都计算 O(n) 像素（现在 RDom r 很大），但每个阶段也都内联到下一个。结果，green 中的每个点递归地计算 g_n_est 和 w_n 的整个图像，然后对于它们的每个像素，它递归地计算 g_n 的整个图像.

你在 green.0(767, 1023) 看到的停顿实际上是正确的在它已经完成计算最后一个像素的 green(x,y) = 0 的纯定义，在由于它正在做的 O(n^3) 工作，它开始永远需要永远实际计算所有更新阶段。

在这种情况下，积极开启更多跟踪会使问题更加清晰。您可以在配置编译时全局打开对实现或单个商店的跟踪：https://github.com/halide/Halide/wiki/Debugging-Tips#tracing.

对于此代码，将早期阶段安排为 compute_root 可能是您想要的，尽管您实际上可能希望 g_n_est 和 w_n 定义为简单的纯函数（不RDoms）可以融合到 green，按块调度等

Halide：较大图像的去马赛克算法错误。似乎适用于 16x16 图像。

Halide: Demosaic algorithm bug for larger images. Seems to work for 16x16 images.

c++

trace

halide

demosaicing