Floyd深度学习训练平台
2017-10-26 17:28
337 查看
灰度图像上色的例子中用到了Floyd平台来训练,这就学习了一下Floyd的训练方法。
1、注册
首先到https://www.floydhub.com/注册一个账号
2、安装客户端
再安装folyd客户端,就一句命令而已:
$ pip install -U floyd-cli
3、登陆
安装好后我们需要登陆,在终端中运行命令:
$ floyd login
终端中会提示:
Authentication token page will now open in your browser. Continue? [Y/n]:
回车确认后,会打开一个网页以获取身份验证令牌:
在网页的下方,你可以找到登陆用的口令,把这个口令粘贴进终端即可,注意在这里粘贴是不会显示出来的。
This is an invisible field. Paste token and press ENTER:
登陆成功后,会提示:
Login Successful
关于数据集:
在运行Floyd计算实例时,可以指定计算所需的数据集
上传数据集操作非常简单,你可以参考官方提供的指导,只需要几条命令就可以搞定,非常方便。
http://docs.floydhub.com/home/using_datasets/
首先在网页上创建数据集,然后:
floyd data init <dataset_name>
floyd data upload
--resume 支持断点续传
更新和数据集的版本控制
同时Floyd也支持直接在云服务器上下载数据集,不过这个是要计算云服务时间的。
不管是公共数据集,还是自己的数据集,都是通过数据ID来指定的。
你可以通过以下方式查看公共数据集的内容:
$ floyd run --data GY3QRFFUA8KpbnqvroTPPW "ls -la /input"
先看tensorflow-notebook的运行,
1、Clone 项目代码到本地
$ git clone https://github.com/floydhub/tensorflow-notebooks-examples.git
2、进入项目目录
$ cd tensorflow-notebooks-examples/3_NeuralNetworks
3、初始化项目
$ floyd init neural-networks
Project "neural-networs" initialized in current directory
初始化后,Floyd会在本目录里生成一些临时文件,以便运行计算实例时,上传目录中必要的程序文件到云服务器。
4、启动一个Jupyter Notebook实例
以下命令将启动一个基于当前目录的,运行在云端的Jupyter Notebook计算实例。
$ floyd run --mode jupyter --env tensorflow-1.3:py2 --data R5KrjnANiKVhLWAkpXhNBe --gpu
通过给出的“Path to jupyter notebook”,就可以访问刚刚启动的Jupyter Notebook实例了。直接进去然后运行ipynb文件。
运行ipynb文件就可以看到运行结果。需要学习一下jupyter的用法。
1、注册
首先到https://www.floydhub.com/注册一个账号
2、安装客户端
再安装folyd客户端,就一句命令而已:
$ pip install -U floyd-cli
3、登陆
安装好后我们需要登陆,在终端中运行命令:
$ floyd login
终端中会提示:
Authentication token page will now open in your browser. Continue? [Y/n]:
回车确认后,会打开一个网页以获取身份验证令牌:
在网页的下方,你可以找到登陆用的口令,把这个口令粘贴进终端即可,注意在这里粘贴是不会显示出来的。
This is an invisible field. Paste token and press ENTER:
登陆成功后,会提示:
Login Successful
关于数据集:
在运行Floyd计算实例时,可以指定计算所需的数据集
上传数据集操作非常简单,你可以参考官方提供的指导,只需要几条命令就可以搞定,非常方便。
http://docs.floydhub.com/home/using_datasets/
首先在网页上创建数据集,然后:
floyd data init <dataset_name>
floyd data upload
--resume 支持断点续传
更新和数据集的版本控制
同时Floyd也支持直接在云服务器上下载数据集,不过这个是要计算云服务时间的。
不管是公共数据集,还是自己的数据集,都是通过数据ID来指定的。
你可以通过以下方式查看公共数据集的内容:
$ floyd run --data GY3QRFFUA8KpbnqvroTPPW "ls -la /input"
先看tensorflow-notebook的运行,
1、Clone 项目代码到本地
$ git clone https://github.com/floydhub/tensorflow-notebooks-examples.git
2、进入项目目录
$ cd tensorflow-notebooks-examples/3_NeuralNetworks
3、初始化项目
$ floyd init neural-networks
Project "neural-networs" initialized in current directory
初始化后,Floyd会在本目录里生成一些临时文件,以便运行计算实例时,上传目录中必要的程序文件到云服务器。
4、启动一个Jupyter Notebook实例
以下命令将启动一个基于当前目录的,运行在云端的Jupyter Notebook计算实例。
$ floyd run --mode jupyter --env tensorflow-1.3:py2 --data R5KrjnANiKVhLWAkpXhNBe --gpu
通过给出的“Path to jupyter notebook”,就可以访问刚刚启动的Jupyter Notebook实例了。直接进去然后运行ipynb文件。
运行ipynb文件就可以看到运行结果。需要学习一下jupyter的用法。
相关文章推荐
- 深度学习Caffe实战笔记(21)Windows平台 Faster-RCNN 训练好的模型测试数据
- 深度学习Caffe实战(9)Windows 平台caffe用MATLAB接口实现训练网络和测试
- 【机器学习神器之二】深度学习新手平台Floyd
- 深度学习Caffe平台实例——CIFAR-10数据集在caffe平台上模型训练及实例使用模型进行预测
- 【机器学习神器之二】深度学习新手平台Floyd
- 使用Floyd进行GPU深度学习训练
- 中文译文:Minerva-一种可扩展的高效的深度学习训练平台(Minerva - A Scalable and Highly Efficient Training Platform for Deep Learning)
- 深度学习Caffe实战笔记(20)Windows平台 Faster-RCNN 训练自己的数据集
- 深度学习实践经验:用Faster R-CNN训练Caltech数据集——修改读写接口
- 【深度学习】Tensorflow学习记录(一) softmax regression mnist训练
- GitHub 发布 2018 年开源项目趋势预测:跨平台、深度学习增长最快!
- TensorFlow 深度学习框架(7)-- 变量管理及训练模型的保存与加载
- linux黑屏重启 caffe 训练深度学习网络crfasrnn deeplab
- 奇虎360正式开源深度学习调度平台XLearning
- 【深度学习-CNN】训练样本不平衡对训练结果的影响
- 【最新】IBM 深度学习框架PowerAI,将训练时间从几周变成几小时
- 【计算机视觉】【神经网络与深度学习】YOLO v2 detection训练自己的数据2
- 对深度学习训练模型过程的理解
- 深度学习训练中为什么要将图片随机剪裁(random crop)
- 姓“深知”,名“诸葛”,首个企业级深度学习公有云平台养成记