【caffe-Windows】新层添加——LSTM

前言

原始的【caffe-Windows】是没有LSTM层的，维护以后的caffe的windows版本也懒得配置了，因为大部分文章的代码还是基于老版caffe。其实大部分的添加层方法都可以参考本博客，仅限Windows。

需要的文件有：

1. 原始的caffe-Windows：这个第一个博客有写网盘地址，戳这里或者

caffe-windows官方：https://github.com/BVLC/caffe/tree/windows

caffe-windows旧网盘：链接：http://pan.baidu.com/s/1bPZHoi 密码：gzc0

2. 具有LSTM对应代码文件的caffe版本，此处我们使用caffe的Linux版本

caffe-linux官方：https://github.com/BVLC/caffe

caffe-linux网盘：链接：http://pan.baidu.com/s/1eR8W9Lw 密码：c7hv

【注】官网新版的caffe编译方法变了，但是如果依旧按照VS的配置方法，可能和老版的并没有什么区别，这里的原始caffe-Windows也可以直接去官网下载。

在进行第一步之前，请确保已按照博客配置好了caffe的无GPU版本。且本博客是添加新层，而非对caffe添加新工程。下面的参考博客介绍的是一个自定义的层的添加方法，主要还是在此基础上研究如何添加LSTM的，道理基本一样

参考博客：http://blog.csdn.net/u014565333/article/details/54017025

一定一定要注意proto中新添加的ID不要重复，否则会出现问题，切记切记

第一步

检查一下检查一下Linux中的caffe和Windows中的caffe有什么区别，主要核对一下两类文件夹：

1. E:\caffe-linux\caffe-master\include\caffe\layers与E:\CaffeDev\caffe-master\include\caffe\layers的对比

2. E:\caffe-linux\caffe-master\src\caffe\layers与E:\CaffeDev\caffe-master\src\caffe\layers的对比

这里我主要发现了windows下的caffe缺少了以下文件：

在include文件中缺少：lstm_layer.hpp、parameter_layer.hpp、recurrent_layer.hpp、rnn_layer.hpp

在src文件中缺少：lstm_layer.cpp、lstm_unit_layer.cpp、parameter_layer.cpp、recurrent_layer.cpp、rnn_layer.cpp

可以先把这些文件全部都拷贝到caffe-windows的对应位置，即1和2分别的layers文件夹内部

每一层的意义Google或者在caffe的官网的namespace目录都有介绍。

第二步

2.1 添加parameter_layer层

此层作用：add parameter layer for learning any bottom

（1）先添加头文件libcaffe->include->layers->添加->现有项



添加第一步拷贝到E:\CaffeDev\caffe-master\include\caffe\layers中的parameter_layer.hpp

（2）再添加提供实现的源文件libcaffe->src->layers->添加->现有项



添加第一步拷贝到E:\CaffeDev\caffe-master\src\caffe\layers中的parameter_layer.cpp

（3）尝试编译一下cpp



会出现类似这样的错误



主要原因就在于我们常听到的prototxt的用户接口，它与第三方包protobuf有关，简单的说这个工具就是一个序列化和反序列化工具，具体可以搜索这两个词。在caffe中，这个接口一般需要在E:\CaffeDev\caffe-master\src\caffe\proto\caffe.proto中声明，名称与每一个实现的cpp的末尾所注册的名字相同

★★★★此处为自己实现cpp所需要注意的一个细节，一定要添加注册★★★★

INSTANTIATE_CLASS(ParameterLayer);
REGISTER_LAYER_CLASS(Parameter);

知道了错误原因，那么就在caffe.proto中添加对应的描述。

说一下题外话，因为我还没尝试自己写层添加，所以调试的时候，参考的就是Linux下的caffe.proto的写法，MATLAB中有一个对比工具叫做 “比较”，比如我在学习如何加层的时候就是这样折腾的



闲话不多说，继续添加caffe.proto对应的东西：

在382行下面添加一个ID，注意此ID与内部的其它ID不能重复

optional ParameterParameter parameter_param = 145;

【注】这里的行可以随便选定，但是一定要注意在message LayerParameter 的内部，与后面的两个message V1LayerParameter 、message V0LayerParameter 区分开来，听说后两个部分已经弃用了。

以后凡是见到下面这句话

this->layer_param_.parameter_param().

★★★★它后面所指向的参数也需要在caffe.proto中指定出来，此为caffe自定义层的第二个注意事项★★★★

指定的方法是将下面这句话添加到caffe.proto的第873行以后

message ParameterParameter {
optional BlobShape shape = 1;
}

（4）接下来的是一个是容易忽视的细节：当ID和参数都添加到caffe.proto以后，需要对libcaffe重新生成一次，而非直接对着cpp右键编译。可能这一步与E:\CaffeDev\caffe-master\windows\scripts下的ProtoCompile.cmd有关



如果弹出一个窗口XXX已在外部改动什么的，点击全是就好。

最后重新右键编译一次parameter_layer.cpp，就会无错误直接通过。

2.2添加LSTM层

（1）添加头文件lstm_layer.hpp、recurrent_layer.hpp、rnn_layer.hpp到libcaffe->include->layers->添加->现有项

（2）添加源文件lstm_layer.cpp、lstm_unit_layer.cpp、recurrent_layer.cpp、rnn_layer.cpp到libcaffe->src->layers->添加->现有项

观察注册部分

lstm_layer层的注册

INSTANTIATE_CLASS(LSTMLayer);
REGISTER_LAYER_CLASS(LSTM);

lstm_unit_layer层的注册

INSTANTIATE_CLASS(LSTMUnitLayer);
REGISTER_LAYER_CLASS(LSTMUnit);

rnn_layer层的注册

INSTANTIATE_CLASS(RNNLayer);
REGISTER_LAYER_CLASS(RNN);

注意一下这几层的结构区别





此两图显示了caffe的每一层即caffe::layer的组成情况，可以发现LSTMUnitLayer是单独成一层的。

（3）编译尝试一下。

发现lstm_unit_layer.cpp无需添加到caffe.proto中便可直接编译成功，但是其使用方法还有待斟酌，因为没有添加到caffe.proto中，那么使用是如何序列化的呢？以后学习。

先解决当下问题，其它的层都无法直接编译成功，那么就得添加到caffe.proto中了。

在caffe.proto的387行添加对应recurrent层的ID（因为它是由LSTM和RNN层组成的，因而给一个ID即可，在参数中进行区分）

optional RecurrentParameter recurrent_param = 146;

（4）添加对应参数描述

// Message that stores parameters used by RecurrentLayer
message RecurrentParameter {
// The dimension of the output (and usually hidden state) representation --
// must be explicitly set to non-zero.
optional uint32 num_output = 1 [default = 0];

optional FillerParameter weight_filler = 2; // The filler for the weight
optional FillerParameter bias_filler = 3; // The filler for the bias

// Whether to enable displaying debug_info in the unrolled recurrent net.
optional bool debug_info = 4 [default = false];

// Whether to add as additional inputs (bottoms) the initial hidden state
// blobs, and add as additional outputs (tops) the final timestep hidden state
// blobs.  The number of additional bottom/top blobs required depends on the
// recurrent architecture -- e.g., 1 for RNNs, 2 for LSTMs.
optional bool expose_hidden = 5 [default = false];
}

最后一行注释解释了RNN和LSTM的代号。具体使用方法后续学习到了再写入博客。

（5）添加完毕ID和参数描述，不要忽略了对libcaffe重新生成一次，然后尝试对lstm_layer.cpp、recurrent_layer.cpp、rnn_layer.cpp重新编译试试。

第三步

关于如何搭建一个LSTM网络，本文就不介绍了，在下面这个博客中有三个实例，有兴趣可以配置一下试试

（Caffe）LSTM层分析：http://blog.csdn.net/mounty_fsc/article/details/53114698

当然在后面的博客还是需要继续探索LSTM的使用的，下一篇博客将介绍如何配置caffe-recurrent训练coco数据集。

【注】一定要细心做每一步，因为每一步都可能导致各种错误，不然这个十分钟不到就能配置好的东东怎么会折腾我一天呢。如果需要自己手写层，添加方法与本文一样，但是一定要注意先分析自带的代码，比如parameter_layer.h和其实现就很简单，关键在于写法结构。

最后：细节决定成败，耐心成就未来