【笔记】深度学习框架简介

1、Caffe
caffe的每一个模块都是一个Layer，设计网络结构时，只需要将layer拼接在一起。
优势：有很多训练好的模型，存储在Model Zoo中。
劣势：定义新的Layer比较麻烦，用户需要使用C++或者Cuda来定义，对RNN等时间序列的支持不好。
备注：scikit-learn中的estimator可以进行交叉验证和超参数的Grid search

2、Tensorflow
注意以下几个tf的组件／应用：
tensorboard 可视化：检测tf的运行过程，可视化computation graph
tensorflow serving组件：可以将tf训练好的模型导出，然后对外提供预测服务的RESTful接口
劣势：对于浅层网络，feed其mini-batch数据时，需要低效的Python循环来实现。

3、Theano
深度学习界的Numpy，基石；如同Numpy是Python科学计算的各个模块的基石。
对RNN的实现也很简单。

4、Torch
定义Layer不像Caffe那么麻烦，对RNN的实现也很简单。
编程语言：Lua

5、Keras
可以同时运行在Theano和Tensorflow上
编程语言：Python
优点：简单，新的模块容易添加，适用于最前沿的研究；支持级联的模型或任意的图结构的模型
缺点：无法使用多GPU

6、MXNet
最大的贡献者为百度
AWS（亚马逊公司旗下云计算服务平台）官方推荐的框架
优点：支持非常多的语言封装

7、DIGITS
Caffe的高级封装，模型定义、数据预处理都在浏览器中执行
优点：生成数据和结果的可视化统计报表，网络的可视化结构图
训练好的caffe模型可以直接使用

8、CNTK
语音识别领域广泛使用
支持多GPU
1-bit compression降低了通信代价
实现了1-bit SGD

9、DeepLearning4J
基于java和scala的开源分布式深度学习库
可以与hadoop和spark自动整合

10、Chainer
支持CUDA计算，少量代码即可加速
支持运行中动态定义的网络

11、Leaf
Autumn AI计划的重要组件
易于维护，依赖库少
性能好，速度快

12、DSSTNE
支持输入和输出非常多的Layer
模型并行
支持对超大稀疏数据的训练

注：笔记基于《Tensorflow实战》