多媒体编程——绘制图像

多媒体编程——绘制图像

首先来说，最常见的图像文件类型有bmp，jpg，png等等。每一种都有他们各自文件格式和特点。

但是对于多媒体级别的图像来说（硬件加速连续快速的渲染不同的图像），这几种格式都不能直接渲染。

在windows上，图像渲染的方式有多种，API的抽象程度也不一样，而最常用的两种当然是使用GDI 和 DirectDraw。GDI底层也是使用的DirectDraw，所以我们就直接以DirectDraw来讲解。

DirectSDK中DirectDraw版本问题，前一节已经讲过。

DirectDraw支持的格式，和上面提到的bmp，jpg等文件格式，没有任何关系，DirectDraw支持的格式是指的像素格式，而bmp，jpg等等为文件压缩格式。

什么是像素格式？

比如RGBA 就是像素格式。就是定义描述像素点的格式

除了RGBA以外，最常用的还是YUV格式。

什么是YUV？ Y表示亮度，UV表示红色和绿色（不太确定，反正就是红绿蓝中的两个）。

不需要太纠结YUV具体参数的含义，因为 YUV 是三个分量，和RGB 是等价的，可以相互转换。

YUV的存在是为了兼容黑白视频，因为如果没有UV，只有Y，依然能够看到图像。而RGB格式则不支持黑白画面。

RGB分为 RGB24 RGB565，RGB32等等

而YUV也分为很多种 比如YV12，YUYV什么什么的，具体的请查询相关资料。

下面重点讲怎么使用DirectDraw。

先讲整个流程，最后贴一个完整的工具类代码上来。在下一节，将完整的讲一个从摄像头取图像并绘制到窗口的例子程序，到时此部分代码将在例子程序中找到。

使用DirectDraw将有如下步骤：

1、初始化DirectDraw对象。

LPDIRECTDRAW7            m_lpDDraw;   // DirectDraw 对象指针
LPDIRECTDRAWSURFACE7     m_lpDDSPrimary; // DirectDraw 主表面指针
LPDIRECTDRAWSURFACE7     m_lpDDSOverlay; // DirectDraw 离屏表面指针
DDSURFACEDESC2		 m_stPrimaryDdsd;   // DirectDraw 表面描述
DDSURFACEDESC2		 m_stOverlayDdsd;   // DirectDraw 表面描述
LPDIRECTDRAWCLIPPER      m_pDirectDrawCliper ;/

DirectDrawCreateEx(NULL, (LPVOID*)&m_lpDDraw,IID_IDirectDraw7, NULL);

2、设置协作等级，协作等级的HWND，一般为当前应用程序的最外层HWND。

m_lpDDraw->SetCooperativeLevel(m_hMainWnd, DDSCL_NORMAL);

3、创建主表面

DDSURFACEDESC2 m_stPrimaryDdsd;
ZeroMemory(&m_stPrimaryDdsd, sizeof(DDSURFACEDESC2));
m_stPrimaryDdsd.dwSize = sizeof(DDSURFACEDESC2);
m_stPrimaryDdsd.dwFlags = DDSD_CAPS ;
m_stPrimaryDdsd.ddsCaps.dwCaps = DDSCAPS_PRIMARYSURFACE;
hr = m_lpDDraw->CreateSurface(&m_stPrimaryDdsd, &m_lpDDSPrimary, NULL);

4、// 创建缓存表面

ZeroMemory(&m_stOverlayDdsd, sizeof(DDSURFACEDESC2));
m_stOverlayDdsd.dwSize = sizeof(DDSURFACEDESC2);
m_stOverlayDdsd.ddsCaps.dwCaps = DDSCAPS_VIDEOMEMORY | DDSCAPS_OFFSCREENPLAIN ;
m_stOverlayDdsd.dwFlags = DDSD_CAPS | DDSD_HEIGHT | DDSD_WIDTH | DDSD_PIXELFORMAT ;
m_stOverlayDdsd.dwWidth = m_dwWidth;
m_stOverlayDdsd.dwHeight = m_dwHeight;
m_stOverlayDdsd.ddpfPixelFormat = pixfmt ;
m_stOverlayDdsd.ddpfPixelFormat.dwSize = sizeof(DDPIXELFORMAT);

hr = m_lpDDraw->CreateSurface(&m_stOverlayDdsd, &m_lpDDSOverlay, NULL);
if (FAILED(hr))
{
m_stOverlayDdsd.ddsCaps.dwCaps = DDSCAPS_SYSTEMMEMORY | DDSCAPS_OFFSCREENPLAIN ;//使用内存再次尝试创建。
hr = m_lpDDraw->CreateSurface(&m_stOverlayDdsd, &m_lpDDSOverlay, NULL);
if (FAILED(hr))
return hr ;
}

为什么后面要尝试一次使用DDSCAPS_SYSTEMMEMORY 呢，因为如果是集成显卡，第一次创建使用DDSCAPS_VIDEOMEMORY 会失败。如果使用显卡内存不行，就使用系统内存。

5、创建裁剪类，并关联到HWND

hr = m_lpDDraw->CreateClipper(0,&m_pDirectDrawCliper,NULL);
if (FAILED(hr))
return hr;

hr = m_pDirectDrawCliper->SetHWnd(0,m_hPlayWnd);
if (FAILED(hr))
return hr;

hr = m_lpDDSPrimary->SetClipper(m_pDirectDrawCliper);
if (FAILED(hr))
return hr;

裁剪类是干嘛的呢？比方说你当前的QQ聊天窗口挡住了播放器窗口，如果不加裁剪工具，那么播放器的视频画面就会显示到聊天窗口上。m_hPlayWnd 是要显示图像的那个HWND 。

初始化过程已经完了，下面将如何渲染图像。

对于像素格式类说，有两大类，一种叫面格式，一种叫线格式。还有的人叫打包格式，术语这方面我不讲究，参考参考就行

比如我有4个像素点组成的图像。 每个像素点都有个YUV。

平面格式的话，数据的排列方式是这样的 YYYY UUUU VVVV = 12个字节。

线格式或者打包格式的话，数据排列可能是这样的 YUV YUV YUV YUV = 12个字节。

下面是两个函数。 分别绘制两种格式。

HRESULT CDXImageDrawer::DisplayPlane(LPCBYTE pBuf[3],DWORD dwWidthDeflate[3],DWORD dwHeightDeflate[3])
{
HRESULT     hr;   // DirectDraw 函数返回值

hr = m_lpDDSOverlay->Lock(NULL,&m_stOverlayDdsd,DDLOCK_WAIT|DDLOCK_WRITEONLY,NULL);
if (FAILED(hr))
return hr;

LPCBYTE Y = pBuf[0];
LPCBYTE U = pBuf[1];
LPCBYTE V = pBuf[2];

LPBYTE lpSurface = (LPBYTE)m_stOverlayDdsd.lpSurface;
if(lpSurface)
{
//Y
DWORD dwLineWidth  = m_stOverlayDdsd.dwWidth  >> dwWidthDeflate[0] ;
DWORD dwLineHeight = m_stOverlayDdsd.dwHeight >> dwHeightDeflate[0] ;
DWORD dwLinePitch  = m_stOverlayDdsd.lPitch	  >> dwWidthDeflate[0] ;
for (DWORD i=0;i<dwLineHeight;i++)
{
memcpy(lpSurface, Y, dwLineWidth);
Y += dwLineWidth;
lpSurface += dwLinePitch;
}
//V
dwLineWidth  = m_stOverlayDdsd.dwWidth  >> dwWidthDeflate[2] ;
dwLineHeight = m_stOverlayDdsd.dwHeight >> dwHeightDeflate[2] ;
dwLinePitch  = m_stOverlayDdsd.lPitch   >> dwWidthDeflate[2] ;
for (DWORD i=0;i<dwLineHeight;i++)
{
memcpy(lpSurface, V, dwLineWidth);
V += dwLineWidth;
lpSurface += dwLinePitch;
}
//U
dwLineWidth  = m_stOverlayDdsd.dwWidth  >> dwWidthDeflate[1] ;
dwLineHeight = m_stOverlayDdsd.dwHeight >> dwHeightDeflate[1] ;
dwLinePitch  = m_stOverlayDdsd.lPitch   >> dwWidthDeflate[1] ;
for (DWORD i=0;i<dwLineHeight;i++)
{
memcpy(lpSurface, U, dwLineWidth);
U += dwLineWidth;
lpSurface += dwLinePitch;
}
}

hr = m_lpDDSOverlay->Unlock(NULL);
if (FAILED(hr))
return hr;

RECT rect;
::GetClientRect(m_hPlayWnd,&rect);
POINT point = {0,0};
::ClientToScreen(m_hPlayWnd,&point);
rect.right = rect.right - rect.left + point.x;
rect.left = point.x;
rect.bottom = rect.bottom - rect.top + point.y;
rect.top = point.y;

hr = m_lpDDSPrimary->Blt(&rect, m_lpDDSOverlay, NULL, DDBLT_WAIT, NULL);
if (FAILED(hr))
return hr;
return S_OK ;
}
HRESULT CDXImageDrawer::DisplayLine(LPCBYTE pBuf,int nPixelBytes)
{
HRESULT     hr;   // DirectDraw 函数返回值

hr = m_lpDDSOverlay->Lock(NULL,&m_stOverlayDdsd,DDLOCK_WAIT|DDLOCK_WRITEONLY,NULL);
if (FAILED(hr))
return hr;

LPCBYTE p_YUV_RGB = pBuf ;

DWORD dwByteCountPerLine = m_stOverlayDdsd.dwWidth*nPixelBytes; //m_stOverlayDdsd.ddpfPixelFormat.dwRGBBitCount/8 ;

LPBYTE lpSurface = (LPBYTE)m_stOverlayDdsd.lpSurface;
if(lpSurface)
{
for (DWORD i=0;i<m_stOverlayDdsd.dwHeight;i++)
{
memcpy(lpSurface, p_YUV_RGB, dwByteCountPerLine);
p_YUV_RGB += dwByteCountPerLine;
lpSurface += m_stOverlayDdsd.lPitch;
}
}

hr = m_lpDDSOverlay->Unlock(NULL);
if (FAILED(hr))
return hr;

RECT rect;
::GetClientRect(m_hPlayWnd,&rect);
POINT point = {0,0};
::ClientToScreen(m_hPlayWnd,&point);
rect.right = rect.right - rect.left + point.x;
rect.left = point.x;
rect.bottom = rect.bottom - rect.top + point.y;
rect.top = point.y;

hr = m_lpDDSPrimary->Blt(&rect, m_lpDDSOverlay, NULL, DDBLT_WAIT, NULL);
if (FAILED(hr))
return hr;
return S_OK ;
}

看不懂没关系，对于视频渲染来说，就像素格式那点就会把人搞晕。期待下一节吧。

以读取摄像头的画面，经过格式转换，并且一DirectDraw方式输出显示。