如何在 C++ 中从 UTexture2D 读取数据

Question

我正在尝试从 Unreal Engine C++ 项目中填充的 UTexture2D 中读取像素数据。在我post这里的问题之前，我尝试使用这个link中描述的方法：https://answers.unrealengine.com/questions/25594/accessing-pixel-values-of-texture2d.html。但是，它对我不起作用。我从纹理中得到的所有像素值都是一些垃圾数据。

我只想从 SceneCapture2D 和包含 SceneTexture: Depth 节点的 post-processing material 获取深度值。我需要 C++ 中可用的深度值，以便我可以使用 OpenCV 进行进一步处理。在Directx11中，暂存纹理可以用于CPU读取，但是在unreal engine中，我不知道如何创建一个像Dx11那样的'staging texture'。我无法从当前方法中获取正确的像素值，这让我觉得我可能会尝试访问不可读的 CPU 纹理。

这是我从 RGB UTexture2D 读回数据的实验代码。

初始化 RGB 纹理：

VideoTextureColor= UTexture2D::CreateTransient(640, 480, PF_B8G8R8A8);
VideoTextureColor->UpdateResource();
VideoUpdateTextureRegionColor = new FUpdateTextureRegion2D(0, 0, 0, 0, 640, 480);
ColorRegionData = new FUpdateTextureRegionsData;

PixelDepthData.Init(FColor(0, 0, 0, 255), 640 * 480);

// Populate the texture with blue color
for (int i = 0; i < 640; i++) {
    for (int j = 0; j < 480; j++) {
        int idx = j * 640 + i;
        PixelDepthData[idx].B = 255;
        PixelDepthData[idx].G = 0;
        PixelDepthData[idx].R = 0;
        PixelDepthData[idx].A = 255;
    }
}

UpdateTextureRegions(
    VideoTextureColor,
    (int32)0,
    (uint32)1,
    VideoUpdateTextureRegionColor,
    (uint32)(4 * 640),
    (uint32)4,
    (uint8*)PixelDepthData.GetData(),
    false,
    ColorRegionData
);

然后，更新将其值读回 PixelDepthData（TArray 类型）数组，并使用存储在 PixelDepthData 中的值更新此纹理，这是其旧值。

UpdateTextureRegions(
    VideoTextureColor,
    (int32)0,
    (uint32)1,
    VideoUpdateTextureRegionColor,
    (uint32)(4 * 640),
    (uint32)4,
    (uint8*)PixelDepthData.GetData(),
    false,
    ColorRegionData
);

ENQUEUE_UNIQUE_RENDER_COMMAND_ONEPARAMETER(
    FRealSenseDelegator,
    ARealSenseDelegator*, RealSenseDelegator, this,
    {
        FColor* tmpImageDataPtr = static_cast<FColor*>((RealSenseDelegator->VideoTextureColor)->PlatformData->Mips[0].BulkData.Lock(LOCK_READ_ONLY));
        for (uint32 j = 0; j < 480; j++) {
            for (uint32 i = 0; i < 640; i++) {
                uint32 idx = j * 640 + i;
                RealSenseDelegator->PixelDepthData[idx] = tmpImageDataPtr[idx];
                RealSenseDelegator->PixelDepthData[idx].A = 255;
            }
        }
        (RealSenseDelegator->VideoTextureColor)->PlatformData->Mips[0].BulkData.Unlock();
    }
);

我得到的只是一个白色纹理，而不是可视化场景中的蓝色纹理。

有谁知道如何读取UTexture2D对象的数据吗？

Answer 1

我明白了。您必须先获取 UTexture2D 的 RHI 纹理引用，然后使用 RHILockTexture2D 读取它的数据，并且您必须在 RenderThread 中执行此操作。以下代码只是一个例子：

FTexture2DResource* uTex2DRes = (FTexture2DResource*)(RealSenseDelegator->VideoTexturePixelDepth)->Resource;
float* cpuDataPtr = (float*)RHILockTexture2D(
        uTex2DRes->GetTexture2DRHI(),
        0,
        RLM_ReadOnly,
        destStride,
        false);

for (uint32 j = 0; j < 480; j++) {
    for (uint32 i = 0; i < 640; i++) {
        uint32 idx = j * 640 + i;

        // TODO Read the pixel data right here

    }
}
RHIUnlockTexture2D(uTex2DRes->GetTexture2DRHI(), 0, false);

要在渲染线程中执行此操作，您必须使用宏，例如 ENQUEUE_UNIQUE_RENDER_COMMAND_ONEPARAMETER // 如果您只是将一个参数传递给渲染线程，请使用这个宏。+

如何在 C++ 中从 UTexture2D 读取数据

How to read data from a UTexture2D in C++

c++

graphics

texture2d

unreal-engine4