【原创】梵高油画用深度卷积神经网络迭代10万次是什么效果? A neural style of convolutional neural networks
2017-01-30 15:03
323 查看
作为一个脱离了低级趣味的码农,春节假期闲来无事,决定做一些有意思的事情打发时间,碰巧看到这篇论文: A neural style of convolutional neural networks,译作卷积神经网络风格迁移。 这不是“暮光女”克里斯丁的研究方向吗?!连好莱坞女星都开始搞人工智能发paper,真是热的可见一斑!
这篇文章中讲述了如何用深层卷积神经网络来将一张普通的照片转化成一幅艺术风格的画作(比如梵高的星夜),可以看做是DL(deep learning)在NPR(非真实渲染non photography rendering)领域的一次革命(不难想象以后DL这种跨领域的革命会越来越多)。
论文地址:A Neural Algorithm of Artistic Style
项目地址:https://github.com/muyiguangda/neural-style
算法解析
(对算法不感兴趣的童鞋,可以直接跳过这一部分,看最终实验结果)
【总流程】
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/cd733c3190f4e8ec9a2d7d196f576bd3.png)
如上,a有个别名是
首先他定义了两个loss,分别表示最终生成的图x和style图a的样式上的loss,以及x和content图p的内容上的loss,α,β是调节两者比例的参数。最终的loss function是两者的加和。通过optimize总的loss求得最终的x。
所用的CNN网络是VGG-19,利用了它16个卷积层和5个pooling层来生成feature。实际指的是Conv+ReLU的复合体。
当然,使用其他pre-trained的model也是完全可以的,比如GoogLet V2,ResNet,VGG16 都是可以的(作者这哪是以VGG19为例)。
【内容损失函数】
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/ec0e1c9676bd1d13d76e60571a72caef.png)
l代表第l层的特征表示,
假设某一层得到的响应是Fl∈RNl∗Ml,其中Nl为l层filter的个数,Ml为filter的大小。Flij表示的是第l层第i个filter在位置j的输出。
公式的含义就是对于每一层,原始图片生成特征图和生成图片的特征图的一一对应做平方差
求内容损失函数梯度下降如下:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/45d36470f9c47e70a3a1fcd124da8bdb.png)
【风格损失函数】
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/522247300ee7c7df02bebea4818578ea.png)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/77b0894a111d4e5ed6c1e5fd25b25727.png)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/e259745f42f0251a7fccfdd8a2f8ff2f.png)
上面是风格损失函数,
【总损失】
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/4bf67d7c2aa717be08ddce1ca6a8bd8d.png)
[b]实验结果[/b]
下面是内容图,风格图,以及迭代10次,100次,500次,1000次,10000次,10万次的计算结果及分析:
【原图】
原图片如果尺寸过大,导致input层的batch size过大,会大大增加程序计算量(从而延长计算时间),容易引起程序不稳定,而对最终效果并没有明显提升,因此建议把图片尺寸尽量缩小(在像素不失真的前提下),推荐值:800 ppi x 600 ppi.
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/3b139d3ca76649947c309a80efb53e6a.jpg)
【风格图】
风格图不需要和内容图尺寸一致。可以适当裁剪,保留风格最突出的部分。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/40342b3bbdae705edb1ce8bcc5b5036a.png)
【迭代10次】
由于原始的输入是一张白噪声图片,因此,在迭代次数较少时,仍然没有形成内容图的轮廓。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/af9eaf2ba1db1332f84c257c5bd72cab.jpg)
【迭代100次】
天安门的轮廓初现
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/5f71986585d4549cd2d2173366a4b714.jpg)
【迭代500次】
已经基本接近最终效果,既能看到天安门的形状,又有梵高“星夜”的线条风格和颜色搭配。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/4fad3cb62303fd18f46fa81d884c887f.jpg)
【迭代1000次】
500次到1000次,画面构成的变化已经不剧烈,基本趋于平稳。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/042b2e70e84eb20517a29d045c0bb1ac.jpg)
【迭代500次,重复执行三次】
重复计算了三次,使用相同的图片,相同的卷积神经网络模型,相同的迭代次数(500次),却得到了区别明显的三张结果图。这是非常有意思的地方!
(a) (b) (c)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/0a06e26afd5f21176e50a3242cbdb012.jpg)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/ed17e9466d29a1f02a32c0a613f9b3b7.jpg)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/4214b153b6502574c2c3969518bbff78.jpg)
最近看完一本书,叫《随机漫步的傻瓜》,主要讨论随机性这个概念,随机性中隐藏着不可预测的风险,也蕴含着无限的可能性。没有随机变异,生物进化可能还处在单细胞阶段。
如果计算机只是一个工具,让它解一个方程组,如果已知数确定,计算条件确定,无论计算多少次,结果都是同一个。
这个例子中,结果出现了差异,说明这个系统中一定有随机的成分存在。
机器学习中随机性出现的部分通常如下:1. 训练样本的乱序操作;2. 随机梯度下降;3. 模型随机赋初始值。
本例中还多一条:初始输入的白噪声图像是随机生成的。
【迭代10000次】
可以看到画面右上部分,内容渐渐丢失,呈现灰色化。
推测原因:由于卷积神经网络中的若干pooling层,实际是对图像进行了均值处理,导致了边缘细节的丢失。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/c0e307d441244603794e124e916c7f90.jpg)
pooling层示意图:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/f8c2ba080779bd9b8201512e81951876.png)
那么,迭代10万次是什么样子的呢?
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
【迭代10万次】
画面朝着两极化趋势发展,灰色区域更加暗淡,彩色区域更加明亮,两者之间的界限更加分明,失去了过渡。
这篇文章中讲述了如何用深层卷积神经网络来将一张普通的照片转化成一幅艺术风格的画作(比如梵高的星夜),可以看做是DL(deep learning)在NPR(非真实渲染non photography rendering)领域的一次革命(不难想象以后DL这种跨领域的革命会越来越多)。
论文地址:A Neural Algorithm of Artistic Style
项目地址:https://github.com/muyiguangda/neural-style
算法解析
(对算法不感兴趣的童鞋,可以直接跳过这一部分,看最终实验结果)
【总流程】
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/cd733c3190f4e8ec9a2d7d196f576bd3.png)
如上,a有个别名是
conv1_1,b是
conv2_1,依次类推,c,d,e对应
conv3_1,
conv4_1,
conv5_1;输入图片有风格图片
style image和内容图片
content image,输出的是就是合成图片,然后用合成图片为指导训练,但是训练的对象不像是普通的神经网络那样训练权值
w和偏置项
b,而是训练合成图片上的像素点,以达到损失函数不断减少的效果。论文使用的是随机的噪声像素图为初始合成图,但是使用原始图片会快一点。
首先他定义了两个loss,分别表示最终生成的图x和style图a的样式上的loss,以及x和content图p的内容上的loss,α,β是调节两者比例的参数。最终的loss function是两者的加和。通过optimize总的loss求得最终的x。
所用的CNN网络是VGG-19,利用了它16个卷积层和5个pooling层来生成feature。实际指的是Conv+ReLU的复合体。
当然,使用其他pre-trained的model也是完全可以的,比如GoogLet V2,ResNet,VGG16 都是可以的(作者这哪是以VGG19为例)。
【内容损失函数】
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/ec0e1c9676bd1d13d76e60571a72caef.png)
l代表第l层的特征表示,
p是原始图片,
x是生成图片。
假设某一层得到的响应是Fl∈RNl∗Ml,其中Nl为l层filter的个数,Ml为filter的大小。Flij表示的是第l层第i个filter在位置j的输出。
公式的含义就是对于每一层,原始图片生成特征图和生成图片的特征图的一一对应做平方差
求内容损失函数梯度下降如下:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/45d36470f9c47e70a3a1fcd124da8bdb.png)
【风格损失函数】
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/522247300ee7c7df02bebea4818578ea.png)
F是生成图片的特征图。上面式子的含义:Gram第i行,第j列的数值等于把生成图在第
l层的第
i个特征图与第
j个特征图分别拉成一维后相乘求和。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/77b0894a111d4e5ed6c1e5fd25b25727.png)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/e259745f42f0251a7fccfdd8a2f8ff2f.png)
上面是风格损失函数,
Nl是指生成图的特征图数量,
Ml是图片宽乘高。
a是指风格图片,
x是指生成图片。
G是生成图的Gram矩阵,
A是风格图的Gram矩阵,
wl是权重。
【总损失】
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/4bf67d7c2aa717be08ddce1ca6a8bd8d.png)
[b]实验结果[/b]
下面是内容图,风格图,以及迭代10次,100次,500次,1000次,10000次,10万次的计算结果及分析:
【原图】
原图片如果尺寸过大,导致input层的batch size过大,会大大增加程序计算量(从而延长计算时间),容易引起程序不稳定,而对最终效果并没有明显提升,因此建议把图片尺寸尽量缩小(在像素不失真的前提下),推荐值:800 ppi x 600 ppi.
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/3b139d3ca76649947c309a80efb53e6a.jpg)
【风格图】
风格图不需要和内容图尺寸一致。可以适当裁剪,保留风格最突出的部分。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/40342b3bbdae705edb1ce8bcc5b5036a.png)
【迭代10次】
由于原始的输入是一张白噪声图片,因此,在迭代次数较少时,仍然没有形成内容图的轮廓。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/af9eaf2ba1db1332f84c257c5bd72cab.jpg)
【迭代100次】
天安门的轮廓初现
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/5f71986585d4549cd2d2173366a4b714.jpg)
【迭代500次】
已经基本接近最终效果,既能看到天安门的形状,又有梵高“星夜”的线条风格和颜色搭配。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/4fad3cb62303fd18f46fa81d884c887f.jpg)
【迭代1000次】
500次到1000次,画面构成的变化已经不剧烈,基本趋于平稳。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/042b2e70e84eb20517a29d045c0bb1ac.jpg)
【迭代500次,重复执行三次】
重复计算了三次,使用相同的图片,相同的卷积神经网络模型,相同的迭代次数(500次),却得到了区别明显的三张结果图。这是非常有意思的地方!
(a) (b) (c)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/0a06e26afd5f21176e50a3242cbdb012.jpg)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/ed17e9466d29a1f02a32c0a613f9b3b7.jpg)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/4214b153b6502574c2c3969518bbff78.jpg)
最近看完一本书,叫《随机漫步的傻瓜》,主要讨论随机性这个概念,随机性中隐藏着不可预测的风险,也蕴含着无限的可能性。没有随机变异,生物进化可能还处在单细胞阶段。
如果计算机只是一个工具,让它解一个方程组,如果已知数确定,计算条件确定,无论计算多少次,结果都是同一个。
这个例子中,结果出现了差异,说明这个系统中一定有随机的成分存在。
机器学习中随机性出现的部分通常如下:1. 训练样本的乱序操作;2. 随机梯度下降;3. 模型随机赋初始值。
本例中还多一条:初始输入的白噪声图像是随机生成的。
【迭代10000次】
可以看到画面右上部分,内容渐渐丢失,呈现灰色化。
推测原因:由于卷积神经网络中的若干pooling层,实际是对图像进行了均值处理,导致了边缘细节的丢失。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/c0e307d441244603794e124e916c7f90.jpg)
pooling层示意图:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/f8c2ba080779bd9b8201512e81951876.png)
那么,迭代10万次是什么样子的呢?
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
【迭代10万次】
画面朝着两极化趋势发展,灰色区域更加暗淡,彩色区域更加明亮,两者之间的界限更加分明,失去了过渡。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/c4852ea5457164afb1f934bd55adf69b.jpg)
相关文章推荐
- 能帮你更好理解分析深度卷积神经网络《Better Analysis of Deep Convolutional Neural Networks》 CNNVis
- 深度卷积神经网络用于图像缩放Image Scaling using Deep Convolutional Neural Networks
- 深度学习——卷积神经网络 (Convolutional Neural Networks / CNN)
- 卷积神经网络图像风格转移 Image StyleTransfer Using Convolutional Neural Networks
- Coursera deeplearning.ai 深度学习习题4-1-Foundations of Convolutional Neural Networks
- [深度学习论文笔记][Weight Initialization] Data-dependent Initializations of Convolutional Neural Networks
- 深度卷积神经网络用于图像缩放Image Scaling using Deep Convolutional Neural Networks
- An Intuitive Explanation of Convolutional Neural Networks
- 【每个人都是梵高】A Neural Algorithm of Artistic Style
- 【深度学习】卷积神经网络(Convolutional Neural Network)
- [深度学习论文笔记][Image Classification] ImageNet Classification with Deep Convolutional Neural Networks
- How to calculate the number of parameters of Convolutional Neural Networks(CNNs) correctly?
- 论文阅读:End-to-End Learning of Deformable Mixture of Parts and Deep Convolutional Neural Networks for H
- 【每个人都是梵高】A Neural Algorithm of Artistic Style
- 深度学习:Hinton_Science_Reducing the dimensionality of data with neural networks
- 【深度学习】卷积层提速Factorized Convolutional Neural Networks
- 深度学习入门学习:Multi-view Face Detection Using Deep Convolutional Neural Networks
- 卷积神经网络在自然语言处理的应用Understanding Convolutional Neural Networks for NLP
- CNN卷积神经网络--反向传播(3,Notes on Convolutional Neural Networks)
- 卷积神经网络用于视觉识别Convolutional Neural Networks for Visual Recognition