Window 10 上基于 Microsoft DirectShow 的虚拟网络摄像头应用程序的项目和构建结构

Question

我正在尝试创建最简单的虚拟网络摄像头应用程序，它可以在我的本地文件系统上显示图像文件。

经过对 Whosebug links and seeing OBS Studio source code 的初步研究，我知道了如何实现这一目标。

我需要使用 Microsoft DirectShow。
我需要开发一个源过滤器，它可以使用 IBaseFilter
作为捕获过滤器
我需要开发另一个源过滤器作为输出过滤器或虚拟网络摄像头过滤器。我需要将此过滤器编译为 .dll 文件，并且需要使用 regsvr32.exe
进行注册如 https://docs.microsoft.com/en-us/windows/win32/directshow/building-directshow-filters
我需要使用 CoCreateInstance 创建 Filter Graph and Capture Filter Graph，例如

hr = CoCreateInstance(CLSID_FilterGraph, NULL, CLSCTX_INPROC_SERVER, IID_IFilterGraph, (void **)&graph);

hr = CoCreateInstance(CLSID_CaptureGraphBuilder2, NULL, CLSCTX_INPROC_SERVER, IID_ICaptureGraphBuilder2, (void **)&builder);
然后我需要将这些过滤器添加到 Filter Graph
然后我会将 Filter Graph 设置为 Capture Filter Graph 就像 hr = builder->SetFiltergraph(graph);

这是我现在的困惑：
在这些步骤之后，我不确定是否必须将这些 Graph Filters 和 Capture Graph Filter 包装在一个具有 main 方法的应用程序中并编译它以获得 .exe 文件，或者我需要编译作为另一个 .dll 文件。

或者我应该如何包装这些步骤来创建最终应用程序？

Answer 1

DirectShow 已过时。您应该改用 Microsoft MediaFoundation。它有据可查，并且运行良好。以下代码将用于从网络摄像头捕获：

void Webcam::StartRecording()
{
    HRESULT hr = MFStartup(MF_VERSION);

    hr = MFCreateAttributes(&pConfig, 1);
    if (FAILED(hr)){
        std::cout << "Failed to create attribute store";
    }

    hr = pConfig->SetGUID(MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE, MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID);
    if (FAILED(hr)){
        std::cout << "Failed to request capture devices";
    }

    hr = MFEnumDeviceSources(pConfig, &ppDevices, &count);
    if (FAILED(hr)){
        std::cout << "Failed to enumerate capture devices";
    }

    hr = ppDevices[0]->ActivateObject(IID_PPV_ARGS(&pSource));
    if (FAILED(hr)){
        std::cout << "Failed to connect camera to source";
    }

    hr = MFCreateSourceReaderFromMediaSource(pSource, pConfig, &pReader);
    if (FAILED(hr)){
        std::cout << "Failed to create source reader";
    }

    IMFMediaType* pType = NULL;
    DWORD dwMediaTypeIndex = 0;
    DWORD dwStreamIndex = 0;
    hr = pReader->GetNativeMediaType(dwStreamIndex, dwMediaTypeIndex, &pType);
    LPVOID representation;
    pType->GetRepresentation(AM_MEDIA_TYPE_REPRESENTATION, &representation);
    GUID subType = ((AM_MEDIA_TYPE*)representation)->subtype;
    BYTE* pbFormat = ((AM_MEDIA_TYPE*)representation)->pbFormat;
    GUID formatType = ((AM_MEDIA_TYPE*)representation)->formattype;
    if (subType == MEDIASUBTYPE_YUY2) { std::cout << 1; };
    RECT rect;
    if (formatType == FORMAT_DvInfo) { std::cout << 1; }
    if (formatType == FORMAT_MPEG2Video) { std::cout << 2; }
    if (formatType == FORMAT_MPEGStreams) { std::cout << 3; }
    if (formatType == FORMAT_MPEGVideo) { std::cout << 4; }
    if (formatType == FORMAT_None) { std::cout << 5; }
    if (formatType == FORMAT_VideoInfo) { std::cout << 6; }
    if (formatType == FORMAT_VideoInfo2){
        rect = ((VIDEOINFOHEADER2*)pbFormat)->rcSource;
    }
    if (formatType == FORMAT_WaveFormatEx) { std::cout << 8; }
    if (formatType == GUID_NULL) { std::cout << 9; }

    int videoWidth = ((VIDEOINFOHEADER2*)pbFormat)->bmiHeader.biWidth;
    int videoHeight = ((VIDEOINFOHEADER2*)pbFormat)->bmiHeader.biHeight;

    IsRecording = true;
    DWORD streamIndex, flags;
    LONGLONG llTimeStamp;
    IMFSample* pSample;

    while (IsRecording){
        hr = pReader->ReadSample(MF_SOURCE_READER_FIRST_VIDEO_STREAM, 0, &streamIndex, &flags, &llTimeStamp, &pSample);
        if (FAILED(hr)){
            std::cout << "Failed to get image from camera";
        }
        if (pSample != NULL){
            IMFMediaBuffer* pBuffer;
            pSample->ConvertToContiguousBuffer(&pBuffer);
            unsigned char* data;
            DWORD length;
            pBuffer->GetCurrentLength(&length);
            HRESULT hr = pBuffer->Lock(&data, NULL, &length);
            if (FAILED(hr)){
                std::cout << "Failed to get data from buffer";
            }

            HDC hdc = GetDC(hwnd);
            HBITMAP bitmap = CreateCompatibleBitmap(hdc, 640, 480);
            BITMAPINFOHEADER header = { sizeof(BITMAPINFOHEADER), 640, 480, 1, 24, BI_RGB, 0, NULL, NULL, NULL, NULL };
            BITMAPINFO info = { header, NULL };
            SetDIBits(hdc, bitmap, 0, 480, &rgb[0], &info, DIB_RGB_COLORS);

            HIMAGELIST imageList = ImageList_Create(640, 480, ILC_COLOR24, 1, 500);
            if (bitmap != NULL) {
                ImageList_Add(imageList, bitmap, NULL);
                BOOL drawn = ImageList_Draw(imageList, 0, hdc, 0, 0, ILD_IMAGE);
                
                DeleteObject(bitmap);
            }
            else {
                std::cout << "Failed to create bitmap" << std::endl;
            }
            ImageList_Destroy(imageList);
            DeleteObject(hdc);
            pBuffer->Unlock();
            pBuffer->Release();
            pSample->Release();
        }
    }
    pSource->Stop();
    pSource = NULL;
    MFShutdown();
}

在将数据缓冲区发送到 image_list 之前，您可能需要将其转换为 RGB 格式。大多数现代相机以 RGB 输出，但我笔记本电脑上的旧网络摄像头输出 YUY2。如果您需要从 YUY2 转换为 RGB，请随时询问。可能有更好的代码来做同样的事情，但这段代码运行良好。它让您可以控制图像。您可能可以改为在静态控件中显示图像。 image_list 让您可以控制添加多张图片并随意调整它们的大小。

Answer 2

I want to create simplest virtual webcam application which can output any image or video to virtual camera. That virtual camera should be visible as video device in online meetings like Google meet or zoom.

Windows 中不支持虚拟网络摄像头作为一个统一的 API，一般来说，您想要实现的目标是可能的，但比设置问题复杂得多。

任务可以分解为三个部分，您将能够找到详细说明所有这三个部分的过去 Whosebug 问题（下面给出了一些参考）。

首先，您需要解决第三方软件集成虚拟相机的问题。根据我开始的陈述，OS API 无法在 OS 可扩展点方面为通用虚拟相机界面提供任何方式，使第三方应用程序能够“看到”新的相机设备。

将伪造的摄像头设备注入应用程序的一种流行方法是使用虚拟 DirectShow 视频源（以及相应的 Vivek's VCam 源代码）。

来自的图表描述了应用程序用来处理相机的 APIs 并说明了虚拟 DirectShow 相机的局限性，特别是为什么它们在 Windows.

另请参阅问题 and 。

总而言之，要为 Windows 中的所有人和任何应用程序开发虚拟网络摄像头，您需要开发驱动程序，很少有人愿意处理。

较新的媒体基金会 API 对虚拟网络摄像头的功能没有任何帮助。

其次，您需要定义一种将视频帧注入到您开发的任何虚拟相机中的方法。无需使用 DirectShow 或 Media Foundation，因为归根结底，您只需将视频帧提交到虚拟相机实现的后端，您可以自由使用任何方便的方法。

总体而言，使用 DirectShow 完成此任务很有意义，但您不需要这样做。如果您不熟悉 API 并且您是从创建过滤器图的基础知识开始的，那么使用非 DirectShow 解决方案很可能更容易。如果您需要将真实的网络摄像头图像混合到您的提要中，您可以特别使用 Media Foundation 捕获它。如果您打算使用各种 GPU 服务，Media Foundation 会更好 API 再次使用。 DirectShow 仍然是不错的选择，因为 API 可以在其上构建管道。

第三，经常有一个进程间通信的问题，连接虚拟摄像头实现和视频源。在某些情况下它是不必要的，但更多时候它只是被忽略了。

虚拟 DirectShow 摄像头（或虚拟 Media Foundation 摄像头，例如，如果您要绕行）在摄像头使用过程中运行，通常可以从多个应用程序访问摄像头，包括同时访问.您经常希望从另一个 [单个] 应用程序生成视频，包括解锁应用程序 bitness/architecture 的情况，因此您要应对在进程之间传递数据的挑战。如果您正在尝试为虚拟相机开发驱动程序，您也将面临同样的任务。

我在 MSDN 问题中提到了这方面的问题：How to implement a "source filter" for splitting camera video based on Vivek's vcam?, then there Read USB camera's input edit and send the output to a virtual camera on Windows and also there How to create Directshow filter?。

总而言之，不是项目设置的问题。相反，它是一组需要解决的相当复杂的问题（虽然这是可行的，我们看到了这样的例子）。

Answer 3

仅供参考：从 Windows11 开始，有一个专用的 API 用于虚拟网络摄像头：https://docs.microsoft.com/en-us/windows/win32/api/mfvirtualcamera/nf-mfvirtualcamera-mfcreatevirtualcamera

Window 10 上基于 Microsoft DirectShow 的虚拟网络摄像头应用程序的项目和构建结构

Project and build structure for Microsoft DirectShow based virtual webcam application on Window 10

com

video

directshow

video-capture

windows-10-desktop