如何直接访问显卡的输出?

How can I access a graphics card's output directly?

显卡通常会将它们的输出写入内存中我可以访问的某个位置吗?我必须使用驱动程序吗?如果可以,我可以使用 OpenGL 吗?

我想知道是否可以 "capture" Linux 上的 VM 的输出,它可以直接访问 GPU,并且 运行 宁 Windows .理想情况下,我可以直接从内存访问输出,而无需接触 GPU,因为这段代码可以 运行 在 Linux 主机上。

另一种选择可能是编写一个 Windows 驱动程序,它读取 GPU 的输出并将其写入内存中的某个位置。然后,在 Linux 端,程序可以读取此内存。这似乎有点不可能,因为我不太确定如何让主机上的进程与来宾上的进程共享内存。

是否可以执行选项 1 并简单地从内存中读取输出?

我不在 Linux 下编码,但在 Windows 下编码(你是 运行无论如何它在模拟器中)你可以使用 WinAPI 直接访问任何 window 的 canvas 甚至来自 3th 派对的桌面应用程序。某些 GPU 覆盖可能难以捕获(尤其是基于 DirectX),但我的 GL/GLSL 没有问题 目前。

如果您可以访问应用程序源,您可以使用 glReadPixels 直接从 GL 中提取图像(但这仅适用于当前的 GL 基于渲染)。

  1. 使用glReadPixels

    如前所述,这必须直接在目标应用程序中实现,因此您需要拥有它的源代码或将您的代码注入正确的 place/time。我用于截图此代码:

    void OpenGLscreen::screenshot(Graphics::TBitmap *bmp)
        {
        if (bmp==NULL) return;
        int *dat=new int[xs*ys],x,y,a,*p;
        if (dat==NULL) return;
        bmp->HandleType=bmDIB;
        bmp->PixelFormat=pf32bit;
        if ((bmp->Width!=xs)||(bmp->Height!=ys)) bmp->SetSize(xs,ys);
        if ((bmp->Width==xs)&&(bmp->Height==ys))
            {
            glReadPixels(0,0,xs,ys,GL_BGRA,GL_UNSIGNED_BYTE,dat);
            glFinish();
            for (a=0,y=ys-1;y>=0;y--)
             for (p=(int*)bmp->ScanLine[y],x=0;x<xs;x++,a++)
              p[x]=dat[a];
            }
        delete[] dat;
        }
    

    其中 xs,ys 是 OpenGL window 分辨率,你可以忽略整个 bmp 东西(它是我用来存储屏幕截图的 VCL 位图),也可以忽略 for 它只是将图像从缓冲区复制到位图。所以重要的是:

    int *dat=new int[xs*ys]; // each pixel is 32bit int
    glReadPixels(0,0,xs,ys,GL_BGRA,GL_UNSIGNED_BYTE,dat);
    glFinish();
    

    您需要在渲染完成后执行此代码,否则您将获得未完成或空缓冲区。我在 redraw/repaint 事件之后使用它。如前所述,这将只获得 GL 渲染的东西,所以如果你的应用程序结合了 GDI+OpenGL,最好使用下一种方法。

  2. WinAPI 方法

    为了获得任何 window 的 Canvas 图像,我写了这个 class:

    //---------------------------------------------------------------------------
    //--- screen capture ver: 1.00 ----------------------------------------------
    //---------------------------------------------------------------------------
    class scrcap
        {
    public:
        HWND hnd,hnda;
        TCanvas *scr;
        Graphics::TBitmap *bmp;
        int x0,y0,xs,ys;
        scrcap()
            {
            hnd=NULL;
            hnda=NULL;
            scr=new TCanvas();
            bmp=new Graphics::TBitmap;
            #ifdef _mmap_h
            mmap_new('scrc',scr,sizeof(TCanvas()        ));
            mmap_new('scrc',bmp,sizeof(Graphics::TBitmap));
            #endif
            if (bmp)
                {
                bmp->HandleType=bmDIB;
                bmp->PixelFormat=pf32bit;
                }
            x0=0; y0=0; xs=1; ys=1;
            hnd=GetDesktopWindow();
            }
        ~scrcap()
            {
            #ifdef _mmap_h
            mmap_del('scrc',scr);
            mmap_del('scrc',bmp);
            #endif
            if (scr) delete scr; scr=NULL;
            if (bmp) delete bmp; bmp=NULL;
            }
        void init(HWND _hnd=NULL)
            {
            RECT r;
            if (scr==NULL) return;
            if (bmp==NULL) return;
            bmp->SetSize(1,1);
            if (!IsWindow(_hnd)) _hnd=hnd;
            scr->Handle=GetDC(_hnd);
            hnda=_hnd;
            resize();
            }
        void resize()
            {
            if (!IsWindow(hnda)) return;
            RECT r;
    //      GetWindowRect(hnda,&r);
            GetClientRect(hnda,&r);
            x0=r.left; xs=r.right-x0;
            y0=r.top; ys=r.bottom-y0;
            bmp->SetSize(xs,ys);
            xs=bmp->Width;
            ys=bmp->Height;
            }
        void capture()
            {
            if (scr==NULL) return;
            if (bmp==NULL) return;
            bmp->Canvas->CopyRect(Rect(0,0,xs,ys),scr,TRect(x0,y0,x0+xs,y0+ys));
            }
        };
    //---------------------------------------------------------------------------
    //---------------------------------------------------------------------------
    //---------------------------------------------------------------------------
    

    它再次使用 VCL,因此将位图 bmp 和 canvas scr 重写为您的编程环境风格。还要忽略 _mmap_h 代码块,它们仅用于 debugging/tracing 内存指针,这些内存指针与我在写这篇文章时遇到的一些讨厌的编译器错误有关。

    用法很简单:

    // globals
    scrcap cap;
    // init
    cap.init();
    
    // on screenshot
    cap.capture();
    // here use cap.bmp
    

    如果您调用 cap.init(),它将锁定整个 windows 桌面。如果您调用 cap.init(window_handle),它将锁定特定的视觉对象 window/component。要从第 3 个应用程序端获取 window 句柄,请参阅:

    抱歉,它在 SE/RE 而不是在 SE/SO 上,但我在此处关于该主题的回答已被删除。我用它来捕捉视频……我答案中的所有动画 GIF 都是由这段代码创建的。另一个例子可以在我的这个答案的底部看到:

    如您所见,它也适用于带有媒体播放器 classic 的 DirectX 覆盖(甚至 Windows PrintScreen 功能也无法正确完成)。正如我所写的那样,我还没有遇到任何问题。

    当心 视觉内容 WinAPI 调用必须从应用程序主线程 (WNDPROC) 调用,否则可能会出现严重问题,导致随机无关的 WinAPI在 App 的任何位置调用异常。