深度学习深理解(八)- 结构化机器学习项目
2017-10-22 22:44
330 查看
总结一下今天的学习过程
昨天由于装双系统,耽误了一天,打断这周暂时学习结束吴恩达老师的前三部分的课程(因为后期两部分没有开课)
幸运的是,今天学习比较努力 哈哈哈,将计划两天的课程今天一天学习完了
机器学习的策略:
收集更多的数据
增加训练集的多样性
增加使用梯度下降法的训练时间
尝试其他优化算法:比如Adam算法等
扩大或者缩小神经网络的规模
尝试dropout或者L2正则化
修改神经网络的架构:如激活函数、隐藏单元的数目、层数等
正交化
在训练集上表现不错,损失函数最小:4,5
在开发集有很好的表现:1,6
在测试集上有很好的表现:由于过拟合了,需要更大的开发集
在开发集或者测试集上有很好的表现:改变开发集或者改变成本函数
设置一个单实数评估指标
查准率
查全率
FI score:调和平均数
训练集、开发集、测试集的设置
开发集和测试集来自于统一分布
使用开发集+单实数评估指标来固定目标
<
4000
li>训练集则会影响逼近的速度
规模:
早起:100~10000:7/3或者6/2/2
现在:100万:98/1/1
测试集的目的:评估投产系统的性能,足够大,能以高置信度评估系统整体性能
可避免的偏差、方差、误差
偏差:训练集与人类误差偏大
办法:
训练更大的网络
更长时间得网络
更好的优化算法
改成RNN、CNN
更好的神经网络架构
方差:训练集中抽取的开发集表现不好
办法:
正则化:L2正则化、Dropout正则化
数据增强
不同的神经网络架构
误差:开发集表现不好
办法:
收集更多的错误例子
手动检测,查看各个分类造成错误的比例
尝试了解训练集和开发测试集的具体差异
将训练集变得更像开发集、测试集
拟合程度:测试集表现不好
快速搭建一个深度学习系统
设立开发集合测试集还有评估指标
搭好一个机器学习系统模型,进行训练、迭代,查看算法表现、评估指标表现
进行偏差分析、方差分析、误差分析、确定下一步优化前进方向
将你要关注的数据分布作为开发集和测试集
迁移学习
神经网络可以从一个任务中习得知识、或者部分知识、并将这些知识应用到另一个独立的任务中
做法:将最后一层的输出以及相关权重w、b删除。重新生成一层或者几层输入输出,如果数据量大,就将前面的权重一起重新生成
作用:用更少的数据,将一些能力能做其他应用中做的更好、更快,比如:低层次的特征:边缘检测、曲线检测、阳性对象检测、结构信息、图形形状信息、图形识别、学到的点、线、面等
意义:
在A、B有同样的类型数据时,比如音频、图像等,想从任务A中学习并迁移一下知识到到任务B中
A比B数据多
A中的低层次特征可以帮助B的学习
多任务学习:并行的
同时开始学习,试图让单个神经网络同时做几件事情,然后希望是每个任务都能帮助其他所有任务
例如在无人驾驶领域
与softmax不同:softmax是将单个标签分配给单个样本
意义:
训练一组任务,可以共用低层次特征
每个任务的数据量很接近
你可以训练一个足够大的神经网络,同时做好所有工作
端到端的学习
优点:
真的只是让数据说话
所需手工设计的组件更少
缺点:
需要大量的数据
排除了可能有用的手工设计的组件
访谈:
CS231n课程等一些我现在只能听听看看而不知道涵义的名词
美好的一天,明天加油!
昨天由于装双系统,耽误了一天,打断这周暂时学习结束吴恩达老师的前三部分的课程(因为后期两部分没有开课)
幸运的是,今天学习比较努力 哈哈哈,将计划两天的课程今天一天学习完了
机器学习的策略:
收集更多的数据
增加训练集的多样性
增加使用梯度下降法的训练时间
尝试其他优化算法:比如Adam算法等
扩大或者缩小神经网络的规模
尝试dropout或者L2正则化
修改神经网络的架构:如激活函数、隐藏单元的数目、层数等
正交化
在训练集上表现不错,损失函数最小:4,5
在开发集有很好的表现:1,6
在测试集上有很好的表现:由于过拟合了,需要更大的开发集
在开发集或者测试集上有很好的表现:改变开发集或者改变成本函数
设置一个单实数评估指标
查准率
查全率
FI score:调和平均数
训练集、开发集、测试集的设置
开发集和测试集来自于统一分布
使用开发集+单实数评估指标来固定目标
<
4000
li>训练集则会影响逼近的速度
规模:
早起:100~10000:7/3或者6/2/2
现在:100万:98/1/1
测试集的目的:评估投产系统的性能,足够大,能以高置信度评估系统整体性能
可避免的偏差、方差、误差
偏差:训练集与人类误差偏大
办法:
训练更大的网络
更长时间得网络
更好的优化算法
改成RNN、CNN
更好的神经网络架构
方差:训练集中抽取的开发集表现不好
办法:
正则化:L2正则化、Dropout正则化
数据增强
不同的神经网络架构
误差:开发集表现不好
办法:
收集更多的错误例子
手动检测,查看各个分类造成错误的比例
尝试了解训练集和开发测试集的具体差异
将训练集变得更像开发集、测试集
拟合程度:测试集表现不好
快速搭建一个深度学习系统
设立开发集合测试集还有评估指标
搭好一个机器学习系统模型,进行训练、迭代,查看算法表现、评估指标表现
进行偏差分析、方差分析、误差分析、确定下一步优化前进方向
将你要关注的数据分布作为开发集和测试集
迁移学习
神经网络可以从一个任务中习得知识、或者部分知识、并将这些知识应用到另一个独立的任务中
做法:将最后一层的输出以及相关权重w、b删除。重新生成一层或者几层输入输出,如果数据量大,就将前面的权重一起重新生成
作用:用更少的数据,将一些能力能做其他应用中做的更好、更快,比如:低层次的特征:边缘检测、曲线检测、阳性对象检测、结构信息、图形形状信息、图形识别、学到的点、线、面等
意义:
在A、B有同样的类型数据时,比如音频、图像等,想从任务A中学习并迁移一下知识到到任务B中
A比B数据多
A中的低层次特征可以帮助B的学习
多任务学习:并行的
同时开始学习,试图让单个神经网络同时做几件事情,然后希望是每个任务都能帮助其他所有任务
例如在无人驾驶领域
与softmax不同:softmax是将单个标签分配给单个样本
意义:
训练一组任务,可以共用低层次特征
每个任务的数据量很接近
你可以训练一个足够大的神经网络,同时做好所有工作
端到端的学习
优点:
真的只是让数据说话
所需手工设计的组件更少
缺点:
需要大量的数据
排除了可能有用的手工设计的组件
访谈:
CS231n课程等一些我现在只能听听看看而不知道涵义的名词
美好的一天,明天加油!
相关文章推荐
- Coursera 深度学习 deep learning.ai 吴恩达 第三课 结构化机器学习项目 第一周 测试题目 Bird recognition in the city of Peacetopia
- Coursera 深度学习 deep learning.ai 吴恩达 第三课 结构化机器学习项目 第二周 测试题目 Autonomous driving
- 深度学习第三课 结构化机器学习项目 第二周机器学习策略(二) 笔记和作业
- 深度学习第三课 结构化机器学习项目 第一周机器学习策略(一) 笔记和作业
- 吴恩达深度学习笔记三:结构化机器学习项目
- 3.结构化机器学习项目 第一周 ML策略1
- Deeplearning.ai学习笔记-结构化机器学习项目
- 结构化机器学习项目小结
- 28款GitHub最流行的开源机器学习项目,推荐GitHub上10 个开源深度学习框架
- 深度译文:机器学习那些事 关于自己的理解
- 28款GitHub最流行的开源机器学习项目,推荐GitHub上10 个开源深度学习框架
- 结构化机器学习项目Quiz1
- 结构化机器学习项目Quiz2
- DeepLearning.ai学习笔记(三)结构化机器学习项目--week2机器学习策略(2)
- 国立台湾大学-李宏毅-2017年(秋)最新深度学习与机器学习应用及其深入和结构化研究课程分享
- 机器阅读理解 / 知识库 / 深度学习 / 对话系统 / 神经机器翻译 | 本周值得读
- DeepLearning.ai学习笔记(三)结构化机器学习项目--week1 机器学习策略
- 深度学习解决机器阅读理解任务的研究进展
- 机器学习中正则化项L1和L2的直观理解
- 深度学习算法:主成分分析(PCA)算法的理解