吴恩达深度学习第三章-结构化机器学习

1.1 ML策略

more data

more diverse training set

train algorithm longer with sgd

try adam optimization instead of sgd

try bigger/smaller network

try dropout/L2 regularization

network architecture.1: activation functions,2:hidden units ….

判断哪些idea 有效？

1.2 正交化

TV tuning example ：每一个旋钮只调整一个性质

fit training set -> fit dev set -> fit test set

如果训练集不好 更大的网络，变化更好的优化算法。。

如果在训练集上效果很好，开发集不好，需要有一组正则化的按钮可以调节（增大训练集）

如果在训练集，开发集fit，在测试集不好，需要使用更大的开发集。

不太使用early stopping。stop early对训练集的拟合就不太好

1.3 单一数字评估指标

trade off of precision and recall 。F1 score

1.4 满足和优化指标

accuracy optimizing, running time satisfied（<1000 ms）。

一个优化指标 一个或多个满足指标

1.5 训练开发测试

workflow: try many ideas->train different models->use dev set to evaluate and pick one

randomly shuffled data into the dev and test set.From same distribution.

1.6 开发集和测试集的大小

old way <10000 data :

0.7 train,0.3 test.0.6 train ,0.2 dev,0.2 test.

now large data sets 10e6:

0.01dev,0.01 test

some cases。train and dev set.no test might be ok.not recommend

1.7 改变开发、测试的指标

猫分类例子：算法A在评价指标上做得更好，但是会如（将色情图片分类为猫）。B评价指标并不如A，但是不会发生上述错误。评价指标无法衡量算法之间的优劣排序

改变error metric：把色情图片分类成猫这一错误的惩罚权重加大10倍。

define a metric to evaluate classifiers->worry separately about how to do well on this metric

1.8 人的表现

1.9 可避免偏差

如果训练误差和验证误差 远大于人类或state of art：focus on bias

如果接近 focus on variance

humans error 7.5,train 8,test 10:

贝叶斯误差估计。0.5 可避免偏差，2是方差。减小方差相对容易。

1.12 改善模型

fit train set:bias

generalizes well to dev/test: variance

reducing

human level（state of art）avoid bias:

train bigger model

train longer/better optim

nn architecture/ hyperparameters search

training error avoid variance

more data

regularization L2,dropout,data augmentation

nn architecture/ hyperparameters search

dev error

2.1 进行误差分析

look as dev examples to evaluate ideas

get 100 mislabeled dev set examples,count up error types and analysis.Decide solve it is necessary?决定在哪个错误类型有改进的必要。

evaluate multiple ideas in parallel

进行误差分析，应该找一组开发集的错误例子，观察错误标记例子，看看假阳性和假阴性，启发归纳出新的误差类型。

2.2 清楚标注错误的数据

深度学习算法对随机误差是鲁棒的，但对系统误差（标记的人把白色的狗标记成猫）是不鲁棒的。

2.3 快速搭建系统

机器学习程序-> 快速搭建第一个程序->使用偏差、方差分析，错误分析，找到改善系统要优先处理的方向，迭代。 如果这个问题很熟悉或有几乎完全相同的参考文献可以不这么做。

2.4 在不同的划分上进行训练并测试。

data1 200000 data2:10000

option 1:merge ->shuffle

option2: training 20万data1+5000data2。 dev：2500data2

2.5 不匹配数据划分的偏差和方差

2.6 定位数据不匹配

2.7 迁移学习

使用在分类猫数据训练好的神经网络，用这些知识或部分知识去阅读x射线扫描图。

将原网络的最后一层改变，重新训练。数据少-只训练最后一层的参数，

数据多可以重新训练所有层的参数。

2.8 多任务学习

一张图可以有多个标签。训练一个神经网络识别图中的四个物体。

当训练一系列任务可以共享低层次特征，每个任务的数据量接近（不绝对），可以训练一个足够大的神经网络在所有的任务中效果好。

2.9 端到端的深度学习

训练一个大型神经网络，输入是音频，输出是听写文本。

需要大量数据

人脸识别：分解任务，先识别人脸位置，在识别人脸

2.10 是否要使用端到端的深度学习

let the data speak

data+ hand-designed components(features).当没有大量数据时。