【CNN削减阅读笔记】【简化网络设计】【低秩分解】

转载自：http://blog.csdn.net/electech6/article/details/72822009

孙剑：简化网络设计方法

旷世科技研究院院长孙剑的报告中介绍了模型压缩优化。他举了个例子，比如在对图像分类的时候，随着层级的增加，应该把图像的空间分辨率慢慢缩小，但这同时也需要增加每一层中的filter 数。另外实践中发现用小的filter 是更经济的，还有用Low-rank分解逼近的方法也比较有效。



在简化网络方面，主要考虑结构剪枝。还有一个概念是结构化剪枝。虽然仅有一字之差，但是结构剪枝和结构化剪枝是两个不同的概念。结构剪枝是指对网络结构进行修剪，而结构化剪枝是属于结构剪枝的一种具体方法，指按照特定的结构（相对于随机）进行剪枝。结构剪枝如下图所示一共有3种方法。
4000
第一种方法是稀疏连接，本来一个网络里有很多连接的，其基本思想是去除不重要的连接，让这个连接变稀疏。虽然它可以减少网络的模型大小，但是不一定能够减少网络的运行时间。
第二种就是张量分解的方法，就是把一个卷积网络参数矩阵通过张量分解，用它的低秩特性做逼近。
第三种是channel 剪枝，就是训练好一个网络后，简单粗暴的把一些channel 去掉。





还有一种方法就是Low-bit表达。如下图输入一个三维的feature map，feature map标准的话都是float表示的，卷积核其实也是一个三维的矩阵，它也是float表示的。Low-bit表达就是用低精度的表达来代替这些高精度的float，比如用8位或者更加极端的两位来表示。

有两篇比较著名的工作。一个是Binary connect，他的思想是把这个weight都变成01，这也是很夸张的一个想法。下面是更进一步的工作，它是将feature和weight全变成01，叫XNOR-Net，好处是卷积神经网络里的矩阵层，可以变成一个bitcount的指令，就可以完成它想要完成的计算，这个是在硬件中很有效的一个方法，也是Low-bit网络非常吸引人的地方。优点在于：1.内存可以降得非常多；2.潜在的加速比非常大。



Low-bit表达除了能量化weight或feature，还可以量化gridient，因为gridient其实也是float的。他们团队使用的设置是weight用01表示，activation用两位表示，gridient用4位表示，他们将这个网络取名为DOReFa-Net。该网络结构在并行训练或者FPGA/ASIC上训练时可以提高不少效率。



程健：深度神经网络优化计算

程健研究员的报告主要针对嵌入式平台的深度学习优化方法。他列举了近年来在深度神经网络模型加速和压缩方面的几个有效方法：

1、剪枝与稀疏

研究表明网络中很多连接都是接近0或者冗余的，如何对这些参数进行稀疏就变的很有意义。如下图所示是SVD分解的算法性能对比。SVD分解可以从模型压缩和提高运算速度两个方面进行优化。



但是并不是只要剪枝就一定会提高运算速度。原因是如果剪枝过于随机，并不能有效提升运算速度。所以需要结构化剪枝（structured pruning）。



剪枝一般需要如下图左的三个步骤：先在原始的网络结构下训练网络，然后通过设置一个阈值，把一些权值较小的连接进行剪枝，重新训练权重，对训练好的模型再剪枝，再重新训练，直到满足设定条件为止。



2、低秩分解

有很多种分解方法，比如奇异值分解、tucker分解、块分解。



不过，一个m*n的矩阵，如果秩很低（秩r远小于m,n），则它可以拆成一个m*r矩阵和一个r*n矩阵之积（类似于SVD分解）。后面这两个矩阵所占用的存储空间比原来的m*n矩阵小得多





3、权值量化

通常神经网络中的权值一般用单精度的浮点数表示，需要占用大量的存储空间。而用码书对权值进行量化可以共享权值，从而减轻存储负担。



利用哈希编码对权重进行编码，从而达到压缩权重的目的。也是一种有效的方法，如下所示。



另外就是定点和二值化（fixed point / binary）的方法。量化方式有二值量化（0,1）：



也有三值量化：



4、用定点来代替浮点数计算。



颜水成：深度学习的三个维度

新加坡国立大学颜水成教授介绍了深度学习的三个维度：Compactness, Speed, and Accuracy。也就是小模型、速度快、预测准。



小模型可以考虑network in network。如下所示。



极端化一点，是否可以考虑设计全部由1x1的卷积层组成小模型？如下图所示就是使用1x1的卷积，它的基本结构包括以下三个部分：



经过研究统计发现，网络在经过ReLU后，有平均超过40%的输出都是0，这些其实是无用信息，而且这些输出0值在经过ReLU前的操作也是没有意义的。可以想办法找到这些位置进行优化。







提高模型预测精度的一个有效方法是共享跨层信息，例如ResNet的跨层连接设计。



以上就是VALSE2017上关于深度学习网络模型压缩优化的部分选摘。