改进的《Combining Sketch and Tone for Pencil Drawing Production》铅笔画算法
2017-02-04 21:04
429 查看
随着深度学习越来越热,在图像领域,通过卷积神经网络训练的模型可以得到很酷炫的图像风格化效果,比如app store上的prisma应用,可以获得很好的效果,但是速度要稍微慢一些。不过传统的数学方法也可以做的很好,需要的只是你的想象力以及算法设计能力。
本文实现的铅笔画算法,基于论文《Combining
Sketch and Tone for Pencil Drawing Production》算法实现。不过有些细节并没有完全按照论文算法实现,而是根据自己所学,做了一些二次创新。整体效果,接近原文算法,不过对于某些图片处理效果感觉要优于原文。下图为该算法流程图:
![](http://img.blog.csdn.net/20170204203045264?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
从算法流程图可以看出,该算法主要分两大部分:
1. 生成笔画结构: Line Drawing with Strokes, 得到一幅图S;
2. 色调映射及纹理渲染: Tone Drawing得到另外一副图T;
则最终结果为:R = S * T。
在线条分类及绘制步骤中,主要是模拟铅笔画笔触风格,需要按照预定好的8个方向,计算每一个像素点卷积值。每一个像素点按正反两个方向计算采样点并计算卷积,计算量是非常大的。这里的卷积计算有一个优化技巧,计算完种子点的卷积值及位置后,下一个点卷积计算可以借助种子点相应计算结果,进行增量累加计算,这样可以避免重复计算采样点位置以及卷积值,极大提高计算速度。
在色调映射步骤,本人并没有采用文中提到的直方图匹配方法,而是采用了另一种方法,同时在纹理渲染步骤,也没有采用文中的方法,而是通过叠加一张普通纹理的方式实现,但是叠加方法是一个关键点,并不是类似Photoshop中常见的线性减淡、线性加深或者正片叠底等方法。
本人在实现过程中,额外增加了图像预处理步骤,通过对图像做一次平滑操作,这样在检测边缘时效果更佳。平滑算法采用的是这篇文章《Image
Smoothing via L0 Gradient Minimization 》,L0范数图像平滑,效果很好,不过实现起来比较复杂,需要用到傅里叶变换以及迭代求解方程。
计算过程主要在y通道进行。如果在rgb空间分三个通道处理,计算过程将会非常耗时,另外最主要的是绘制的线条方向可能不太一致。所以需要由rgb空间转换至yuv空间,单独对y通道进行处理,最后在变换回rgb空间进行显示、输出。
下面贴出算法整体调用逻辑代码,基本可以了解本文提出的算法改进思路。
下面是一些对比图,原图(上),原算法结果(中),改进的算法结果(下):
![](http://img.blog.csdn.net/20170204204517009?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
![](http://img.blog.csdn.net/20170204204545635?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
![](http://img.blog.csdn.net/20170204204601992?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
![](http://img.blog.csdn.net/20170204205408121?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
![](http://img.blog.csdn.net/20170204205430725?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
![](http://img.blog.csdn.net/20170204205441444?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
更多效果图如下:
![](http://img.blog.csdn.net/20170204205849435?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
![](http://img.blog.csdn.net/20170204205909810?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
![](http://img.blog.csdn.net/20170204205919029?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
![](http://img.blog.csdn.net/20170204210019702?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
![](http://img.blog.csdn.net/20170204210030281?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
![](http://img.blog.csdn.net/20170204210041437?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
![](http://img.blog.csdn.net/20170204210149467?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
![](http://img.blog.csdn.net/20170204210200046?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
![](http://img.blog.csdn.net/20170204210210424?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ3JhZng=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
欢迎下载示例demo:http://download.csdn.net/detail/u013085897/9747177,另外本算法已经集成进我的安卓应用《铅笔画》,
大家有兴趣可以到360、安卓、安智等商店下载使用。
参考资料:
http://www.cse.cuhk.edu.hk/leojia/projects/pencilsketch/pencil_drawing.htm
http://www.cnblogs.com/Imageshop/p/4285566.html
本文实现的铅笔画算法,基于论文《Combining
Sketch and Tone for Pencil Drawing Production》算法实现。不过有些细节并没有完全按照论文算法实现,而是根据自己所学,做了一些二次创新。整体效果,接近原文算法,不过对于某些图片处理效果感觉要优于原文。下图为该算法流程图:
从算法流程图可以看出,该算法主要分两大部分:
1. 生成笔画结构: Line Drawing with Strokes, 得到一幅图S;
2. 色调映射及纹理渲染: Tone Drawing得到另外一副图T;
则最终结果为:R = S * T。
在线条分类及绘制步骤中,主要是模拟铅笔画笔触风格,需要按照预定好的8个方向,计算每一个像素点卷积值。每一个像素点按正反两个方向计算采样点并计算卷积,计算量是非常大的。这里的卷积计算有一个优化技巧,计算完种子点的卷积值及位置后,下一个点卷积计算可以借助种子点相应计算结果,进行增量累加计算,这样可以避免重复计算采样点位置以及卷积值,极大提高计算速度。
在色调映射步骤,本人并没有采用文中提到的直方图匹配方法,而是采用了另一种方法,同时在纹理渲染步骤,也没有采用文中的方法,而是通过叠加一张普通纹理的方式实现,但是叠加方法是一个关键点,并不是类似Photoshop中常见的线性减淡、线性加深或者正片叠底等方法。
本人在实现过程中,额外增加了图像预处理步骤,通过对图像做一次平滑操作,这样在检测边缘时效果更佳。平滑算法采用的是这篇文章《Image
Smoothing via L0 Gradient Minimization 》,L0范数图像平滑,效果很好,不过实现起来比较复杂,需要用到傅里叶变换以及迭代求解方程。
计算过程主要在y通道进行。如果在rgb空间分三个通道处理,计算过程将会非常耗时,另外最主要的是绘制的线条方向可能不太一致。所以需要由rgb空间转换至yuv空间,单独对y通道进行处理,最后在变换回rgb空间进行显示、输出。
下面贴出算法整体调用逻辑代码,基本可以了解本文提出的算法改进思路。
void* PencilDrawingStylizationThread(void *arg) { PencilDrawingStylizationInfo *pencildrawing_stylization_info = (PencilDrawingStylizationInfo *)arg; BMPINFO *pSrcBitmap = pencildrawing_stylization_info->pSrcBitmap; BMPINFO *pGraySketchBitmap = pencildrawing_stylization_info->pGraySketchBitmap; BMPINFO *pEdgeSketchBitmap = pencildrawing_stylization_info->pEdgeSketchBitmap; BMPINFO *pPaperBitmap = pencildrawing_stylization_info->pPaperBitmap; int filter_len = pencildrawing_stylization_info->filter_len; int thread_id = pencildrawing_stylization_info->thread_id; int block_count = pencildrawing_stylization_info->block_count; int width = pSrcBitmap->lWidth; int height= pSrcBitmap->lHeight; int size = width*height; int mem_size = size * sizeof(float); float *rdata = (float *)malloc(mem_size); float *gdata = (float *)malloc(mem_size); float *bdata = (float *)malloc(mem_size); float *ydata = (float *)malloc(mem_size); float *udata = (float *)malloc(mem_size); float *vdata = (float *)malloc(mem_size); // 数据转换 ConvertToFloat(pSrcBitmap, rdata, gdata, bdata); // rgb转yuv for (int i = 0; i < size; i++) { Rgb2Yuv(rdata[i], gdata[i], bdata[i], &ydata[i], &udata[i], &vdata[i]); } // 简化细节 L0ImageSmoothing(&ydata, width, height, block_count, 0.005f, 5.0f); // 抽取边缘 float *edge_data = (float *)malloc(mem_size); float *hor_edgedata = (float *)malloc(mem_size); float *ver_edgedata = (float *)malloc(mem_size); EdgeDetectionFilter(ydata, width, height, hor_edgedata, ver_edgedata); for (int i = 0; i < size; i++) { edge_data[i] = sqrt(hor_edgedata[i]*hor_edgedata[i] + ver_edgedata[i]*ver_edgedata[i]) * 0.5f; } free(hor_edgedata); free(ver_edgedata); hor_edgedata = NULL; ver_edgedata = NULL; // 方向分类 float *classifer_data[8]; for (int i = 0; i < 8; i++) { classifer_data[i] = (float *)malloc(mem_size); memset(classifer_data[i], 0, mem_size); } FastDirectionClassifer(edge_data, classifer_data, filter_len, width, height); // 方向绘制 float *stroke_data = (float *)malloc(mem_size); memset(stroke_data, 0, mem_size); FastDirectionDrawing(classifer_data, stroke_data, filter_len, width, height); // 数值校正 float max_val = stroke_data[0]; for (int i = 1; i < size; i++) { max_val = MAX(stroke_data[i], max_val); } float gamma[5] = { 0.0f, 2.0f, 1.9f, 0.0f, 1.6f }; float inv_max = (max_val > 0.0f) ? 1.0f / max_val : 1.0f; for (int i = 0; i < size; i++) { stroke_data[i] = 1.0f - stroke_data[i] * inv_max; stroke_data[i] = pow(stroke_data[i], gamma[block_count]); } // 边缘草图合成 for (int i = 0; i < size; i++) { pEdgeSketchBitmap->pPlane[0][i] = (uchar)CLAMP0255(stroke_data[i]*255); } // 抽取边缘 memset(edge_data, 0, mem_size); ExtractEdge(ydata, edge_data, width, height, 0.01f, 105.5f); // 叠加纹理 PaperTexture(edge_data, pPaperBitmap, width, height); // 结果合成 for (int i = 0; i < size; i++) { ydata[i] = stroke_data[i]*edge_data[i]; } // 灰度草图合成 for (int i = 0; i < size; i++) { pGraySketchBitmap->pPlane[0][i] = (uchar)CLAMP0255(ydata[i]*255); } // yuv转rgb for (int i = 0; i < size; i++) { Yuv2Rgb(ydata[i], udata[i], vdata[i], &rdata[i], &gdata[i], &bdata[i]); } // 数据转换 ConvertToUchar(rdata, gdata, bdata, pSrcBitmap); free(edge_data); edge_data = NULL; free(stroke_data); stroke_data = NULL; for (int i = 0; i < 8; i++) { free(classifer_data[i]); classifer_data[i] = NULL; } free(ydata); free(udata); free(vdata); ydata = NULL; udata = NULL; vdata = NULL; free(rdata); free(gdata); free(bdata); rdata = NULL; gdata = NULL; bdata = NULL; return NULL; }
下面是一些对比图,原图(上),原算法结果(中),改进的算法结果(下):
更多效果图如下:
欢迎下载示例demo:http://download.csdn.net/detail/u013085897/9747177,另外本算法已经集成进我的安卓应用《铅笔画》,
大家有兴趣可以到360、安卓、安智等商店下载使用。
参考资料:
http://www.cse.cuhk.edu.hk/leojia/projects/pencilsketch/pencil_drawing.htm
http://www.cnblogs.com/Imageshop/p/4285566.html
相关文章推荐
- Combining Sketch and Tone for Pencil Drawing Production
- Combining Sketch and Tone for Pencil Drawing Production的优化过程
- 关于Cewu Lu等的《Combining Sketch and Tone for Pencil Drawing Production》一文铅笔画算法的理解和笔录。
- 关于Cewu Lu等的《Combining Sketch and Tone for Pencil Drawing Production》
- 关于Cewu Lu等的《Combining Sketch and Tone for Pencil Drawing Production》一文铅笔画算法的理解和笔录。
- 基于《Combining Sketch and Tone for Pencil Drawing Production》的图像铅笔画算法的实现
- Combining sketch and tone for pencil drawing production简述
- Drawing horizontal and vertical gridlines for CListCtrl
- Mastering Photoshop CS3 for Print Design and Production
- [React] Configure a React & Redux Application For Production Deployment and Deploy to Now
- After Effects and Photoshop: Animation and Production Effects for DV and Film
- Edge-Preserving Decompositions for Multi-Scale Tone and Detail Manipulation
- Skia is a complete 2D graphic library for drawing Text, Geometries, and Images.
- 论文阅读:Combining volumetric dental CT and optical scan data for teeth modeling
- Mastering InDesign CS3 for Print Design and Production
- The Laws of Software Process: A New Model for the Production and Management of Software
- 10 Best HTML5 Sketching and Drawing Tools for Designers
- plyr: Tools for splitting, applying and combining data
- (论文分析) Object Detection -- Sketch Tokens: A Learned Mid-level Representation for Contour and Object Detection