怎样提高深度学习的效果？

怎么让深度学习模型获得更好的效果？这个是一直有人问我的问题，或者可以这么问？

我怎么提高正确率？或者为什么我的深度神经网络效果这么差？我经常这样回复“”我给不出确切的答案，但是我能给你一些建议“”

下面我将列一些我认为会对提升学习效果有效的一些建议。我将这些想法mark到下面，这些想法不仅仅对深度学习有用，而且对机器学习同样有效。

提升学习算法性能的四个建议

1 通过数据

2 通过算法

3 通过微调算法

4 采用集成ensembles方式，

一 通过数据：

1）获取更多的数据

2）发明更多的数据

3）重新调整你的数据

4）变换你的数据

5）特征选择

获取更多的数据

模型的质量取决于你训练数据的质量。你需要最好的数据去解决你的问题，同时你也需要最多的数据。

深度学习和其他非线性技术的机器学习技术在数据越多时，效果越好。深度学习尤其是这样。



在图中可以看出，当数据量超过一定阶段，普通的机器学习算法到了精度极限了，但是深度学习不是。

发明更多的数据

深度学习算法在数据量大时效果会更好，但是当我们没办法获得大量的数据，我们可以发明更多的数据

一、如果你的数据是数字向量，依据已有的向量进行随机修改

二、 如果你的数据是图片，依据已有的图像进行随机修改 例如 尺度缩放、旋转、平移

上述方法被称为数据增广

在caffe中的数据层，如下图所示，中间那个镜像和crop_size就对应图像的两种操作，是数据数据增广的方式



相关链接：

Image Augmentation for Deep Learning With Keras

What is jitter? (Training with noise)

重新调整你的数据

这是一个速赢的策略，这个策略在神经网络中是这样：

将数据调整到激活函数的边界范围内，如果是sigmoid激活函数，将数据调整到0-1之间，如果是tanh激活函数，将数据调整到-1,1之间。这个策略适用于输入数据X和输出数据Y，例如在神经网络输出层采用sigmoid激活函数进行二值预测，就可以归一化输出y到二值数据（0或者1)。如果是采用的softmax方式，即最终输出的结果代表的是该输出的概率，你同样也可以对中间层进行归一化。

三种归一化的方式：一、归一化到（0,1） ；二、归一化到（-1,1）；三、数据标准化，即平均值为0，方差为1

在caffe中，对数据进行读取时，一般需要去均值操作，也就是计算数据的平均值，可以采用tools工具中的compute_image_mean.cpp,实际上这个操作就对应这个策略！

变换你的数据

除了上面的一些变换方法，还可以尝试下面的做法：

将数据可视化进行观察，对每一列数据（单个特征数据）进行观察：

1 每一列的数据是否看着像偏态高斯，可以通过Box-Cox变换调整偏态

2 每一列的数据是否看着像指数分布，可以尝试log变换

3 每一列的数据是否像被击倒或者切掉，可以尝试平方或者平方根

4 一些特征是不是可以进行离散化或者二值化，用来突出某些特征

基于你的直觉，可以尝试下面的做法：

数据是不是可以通过投影的方式类似PCA进行预处理？

能否把多个属性聚集成一个？

通过设置bool标志挖掘数据中潜在的信息

多抽查几种不同的变化数据的方式

相关链接：

How to Define Your Machine Learning Problem

Discover Feature Engineering, How to Engineer Features and How to Get Good at It

How To Prepare Your Data For Machine Learning in Python with Scikit-Learn

特征选择

分为：

过滤方式：过滤特征选择方法运用统计方法将一个分值分配给每个特征.这些特征按照分数排序,然后决定是被保留还是从数据集中删除.这个方法通常是单变量且独立的考虑每个特征,或者考虑其依赖变量.一些过滤方法包括Chi squared test(方卡检验),information gain(信息增益)和correlation coefficient scores(相关系数得分).

包装方式：包装方法考虑一族特征作为搜索问题,不同的组合被准备,检验并和其他组合比较. 我们使用一个预测模型评估特征的组合,然后根据模型精度给每个特征组合一个分数.

这个搜索过程可能有条不紊的例如best-fist搜索算法, 它可能随机例如random hill-climbing 算法.或者它可能是启发式的例如前向和后向传递增添和删除特征的.一个例子就是递归特征消除算法.

嵌入方式：嵌入式算法在模型创建的时候,学习哪些特征对于模型精度的贡献最大.最典型的嵌入式特征选择方法是正则化方法.正则化方法也被称为引入附加约束到预测算法(例如回归算法)的优化,它偏向于较低复杂度的模型.正则规划算法的例子是Lasso,Elastic Net和Ridge Regression.

二 通过算法：
http://machinelearningmastery.com/improve-deep-learning-performance/