Caffe学习：Data

Data: Ins and Outs

Caffe中使用Blob存储、传递、处理数据。Data layers读写任意格式的数据都是以Blob作为媒介的。对于输入数据的一些基本预操作，如mean-subtraction（减去均值）、feature-scaling（特征归一化）都是在data layer中进行的。允许自定义新的data layer以提供新的输入形式（input types）。

下面这个data layer的定义，读取MNIST数据：

layer {
name: "mnist"
type: "Data"
# 第一个输出是数据本身
top: "data"
# 第二个输出是标签
top: "label"
# Data layer具体配置
data_param {
# 数据库路径
source: "examples/mnist/mnist_train_lmdb"
# 数据库类型：LEVELDB或LMDB (LMDB支持并行读取)
backend: LMDB
# 批量读取，提高效率
batch_size: 64
}
# 数据预处理
transform_param {
# 特征归一化系数，将范围为[0, 255]的MNIST数据归一化为[0, 1]
scale: 0.00390625
}
}

Tops and Bottoms：一个data layer从top blobs输出数据，但是没有bottom blobs因为data layer没有输入。

Data and Label：一个data layer至少要有一个输出，可以称之为data。当然也可以有第二个输出，称为label。这样命名只是习惯而已，对于分类模型也更为方便。

Transformations：在data layer的定义中，数据预处理通过transform_param参数来定义。

layer {
name: "data"
type: "Data"
[...]
transform_param {
scale: 0.1
mean_file_size: mean.binaryproto
# 用于对images进行水平镜像处理或者随机裁剪处理
mirror: 1  # 1 = on, 0 = off
# 裁剪大小为`crop_size` x `crop_size`
# - 训练时为随机裁剪
# 测试时从中央开始裁剪
crop_size: 227
}
}

Prefetching：后台预读取、预处理

Multiple Inputs：Net可以有任意多、任意类型的输入，可以定义任意多的data layer，但是要有唯一的name和top。多输入是useful的，例如可以一个data layer读取data ，另一个data

layer读取label。这样的话，data和label可以是任意的4D数组。其他的多输入应用可以是multi-modal（多态模式）、sequence

models（序列模式）。这样的话，就需要自己实现数据预处理或者构造一个自定义data layer。

Formats

在 layer catalogue中可以查看data layer的具体细节。

Deployment Input

对于“动态计算部署”（on-the-fly computation deployment），Net定义了input属性（input fields），用于直接在线赋值，或者交互计算。