【caffe-Windows】以mnist为例lmdb格式数据
2016-08-19 15:19
411 查看
前言
前面介绍的案例都是leveldb的格式,但是比较流行和实用的格式是lmdb,原因从此网站摘取它们都是键/值对(Key/Value Pair)嵌入式数据库管理系统编程库。
虽然lmdb的内存消耗是leveldb的1.1倍,但是lmdb的速度比leveldb快10%至15%,更重要的是lmdb允许多种训练模型同时读取同一组数据集。
因此lmdb取代了leveldb成为Caffe默认的数据集生成格式。
以下步骤均为在E:\CaffeDev-GPU\caffe-master下实施
第一步
确保路径E:\CaffeDev-GPU\caffe-master\examples\mnist下存在从mnist官网下载的四个文件,我在mnist下新建了一个mnist文件夹,把文件丢进去了并在E:\CaffeDev-GPU\caffe-master\examples\mnist文件夹下新建bat文件创建训练集create_minist_trainlmdb.bat,内容如下:
E:\CaffeDev-GPU\caffe-master\Build\x64\Debug\convert_mnist_data.exe ./mnist/train-images-idx3-ubyte ./mnist/train-labels-idx1-ubyte ./mnist_train_lmdb pause接下来创建测试集create_minist_testlmdb.bat,内容如下:
E:\CaffeDev-GPU\caffe-master\Build\x64\Debug\convert_mnist_data.exe ./mnist/t10k-images-idx3-ubyte ./mnist/t10k-labels-idx1-ubyte ./mnist_test_lmdb pause
或者跟我们前面建立leveldb一样,建立一个bat,内容如下:
set DATA=../../data/mnist set TOOLS=../../Build/x64/Debug REM set BACKEND=leveldb set BACKEND=lmdb echo "Creating %BACKEND%..." rd /s /q "mnist_train_%BACKEND%" rd /s /q "mnist_test_%BACKEND%" "%TOOLS%/convert_mnist_data.exe" %DATA%/train-images-idx3-ubyte %DATA%/train-labels-idx1-ubyte mnist_train_%BACKEND% --backend=%BACKEND% "%TOOLS%/convert_mnist_data.exe" %DATA%/t10k-images-idx3-ubyte %DATA%/t10k-labels-idx1-ubyte mnist_test_%BACKEND% --backend=%BACKEND% echo "Done." pause
第二步
运行建立训练集的bat,出现我们的第一个问题原因在于内存问题,打开caffe.sln,然后修改convert_mnist_data.cpp第101行
原始值设置内存为1T,然而我们的内存并没这么大,所以改小一点,差不多100M多一点吧
改完以后重新编译此cpp文件,然后再去运行前面建立训练集和测试集的bat文件
第三步
运行create_minist_trainlmdb.bat会出现如果你原来有mnist_train_lmdb这个文件夹记得删掉,否则会出现
因为我们写bat的时候并未检测这个文件夹是否存在,只是想单纯建立这个文件夹,用来存lmdb数据,所以会出现mkdir应该就是make dir失败。
如果我们使用第三个bat就不会出现这个问题了,一目了然
相关文章推荐
- 【深度学习】【caffe实用工具3】笔记25 Windows下caffe中将图像数据集合转换为DB(LMDB/LEVELDB)文件格式之convert_imageset
- Caffe下将mnist手写图片数据转化成lmdb格式
- Caffe1——Mnist数据集创建lmdb或leveldb类型的数据
- (原)caffe中通过图像生成lmdb格式的数据
- Caffe1——Mnist数据集创建lmdb或leveldb类型的数据
- windows下用 caffe 训练MNIST数据
- Windows Caffe 学习笔记 caffe-windows(CPU)配置与利用mnist数据集训练第一个caffemodel
- caffe学习之conver_imageset.bin的使用方法,caffe下图片转lmdb格式类型数据总结
- caffe的mnist格式数据生成和mnist格式数据转npy
- 在caffe-windows下跑自己的数据集leveldb格式 或者lmdb
- caffe 将数据(非图像和图像)转成lmdb格式的数据
- CAFFE学习笔记(四)将自己的jpg数据转成lmdb格式
- CAFFE学习笔记(四)将自己的jpg数据转成lmdb格式
- 将数据转换为caffe可用的lmdb格式(convert_data_lmdb.sh 解析)
- caffe学习(二):利用mnist数据集训练并进行手写数字识别(windows)
- caffe中将jpg数据转化为lmdb格式的文件
- 【caffe】caffe中通过图像生成lmdb格式的数据
- Caffe框架,图像数据转换成LMDB数据格式
- Caffe框架,图像数据转换成LMDB数据格式
- Caffe1——Mnist数据集创建lmdb或leveldb类型的数据