使用VMR9采集n个视频的一帧到一张位图

近来看DirectX 9.0文档，越来越觉得它功能的强大。结合目前解决的一个问题： 即采集多个视频源的一帧到一张位图。它需要用到DirectX中的VMR。
VMR是新一代的video renderer，全称为Video Mixing Renderer，它分为VMR7和VMR9，VMR7基于DirectDraw7，只限于Windows XP；VMR9基于Direct3D9。因为我的例子可能会用于Windows 2000，所以我采用了可用于所有支持DirectX平台的VMR9。

VMR9可以使用3种工作模式，分别为windowed，windowless，renderless模式。后两种模式多用于游戏中。测试例子中用的是windowless模式。

先看下程序实现的截图和graph图：





下面开始具体的程序实现：
视频设备的枚举在我的简化MFC版amcp中有过描述，这里主要是VMR9的创建与设定。
另外生成graph的方法如连接PINs也是采用简化MFC版amcp中描述的Capture Graph Builder中的方法。

程序中需要的成员变量：
IVMRWindowlessControl9 *m_pWCVMR9; // VMR9的WINDOWLESS模式控制
IVMRMixerControl9 *m_pMCVMR9; // VMR9的Mix控制
IBaseFilter * m_pBFVMR9;// 用于创建VMR9

创建和配置VMR9：
HRESULT CMultiImageDlg::AddVideoMixingRendererToFG()
{
// create VMR9
HRESULT hRes = CoCreateInstance(CLSID_VideoMixingRenderer9, NULL, CLSCTX_INPROC, IID_IBaseFilter, (LPVOID *)&m_pBFVMR9);

if(SUCCEEDED(hRes))
{
// add to filter graph
hRes = m_pGraphBuilder->AddFilter(m_pBFVMR9, L"Video Mixing Renderer 9");

if(SUCCEEDED(hRes))
{
// Test VMRConfig, VMRMonitorConfig
IVMRFilterConfig9* pConfig;
HRESULT hRes2 = m_pBFVMR9->QueryInterface(IID_IVMRFilterConfig9, (LPVOID *)&pConfig);
if(SUCCEEDED(hRes2))
{
// VMR9 already default to 4 input pins
hRes2 = pConfig->SetNumberOfStreams(4);
// windowless mode
hRes2 = pConfig->SetRenderingMode(VMR9Mode_Windowless);
// use overlays if available
hRes2 = pConfig->SetRenderingPrefs(RenderPrefs_AllowOverlays);
pConfig->Release();
}

// query control
hRes = m_pBFVMR9->QueryInterface(IID_IVMRWindowlessControl9, (LPVOID *)&m_pWCVMR9);
}
}

if(m_pBFVMR9)
{
m_pBFVMR9->Release();
}

if(SUCCEEDED(hRes))
{
// set owner window
HRESULT hr = m_pWCVMR9->SetVideoClippingWindow(m_hWnd);
// to preserve the aspect ratioof the source
hr = m_pWCVMR9->SetAspectRatioMode(VMR_ARMODE_LETTER_BOX);
}
else
{
if(m_pWCVMR9)
{
m_pWCVMR9->Release();
m_pWCVMR9 = NULL;
}
}

return hRes;
}

另外可以在WM_PAINT中设置视频显示的重绘、WM_DISPLAYCHANGE中设置显示模式的改变、和在WM_SIZE中再次设置视频的位置。

对于视频输出矩形的设置：
对于多个输出流，VMR9通过一个”composition space”来设置它们的位置。在这个”composition space”中，可视视频矩形的坐标设置为(0.0, 0.0)到(1.0, 1.0)。所以如果有多个视频要布局，如本例程序中显示的那样，可以设置为：{0.0F, 0.0F, 0.5F, 0.5F, 1.0F}, {0.5F, 0.5F, 1.0F, 1.0F, 1.0F}，数组中的最后一个为alpha值。通过数组中的参数可以看出，各个输出矩形可以设置输出比例和透明度。

最后，因为VMR9的input pins是连接多个视频源，所以通过它的接口GetCurrentImage得到输出视频的当前帧。

水平有限，不理解处可以参看DX文档。