从自我学习到深层网络
2016-05-18 23:53
399 查看
通过神经网络得出特征,然后通过传统方法分类。特征是重点!
1、通过大量无标注数据、神经网络算法,训练出好的特征->得到W1 b1 W2 b2
目的:数据规模,严重影响分类的准确性,而手动标注和特征选取是非常复杂的工作。故想到利用无标注的海量数据,获得更好的准确性。
对于无标注数据,通过自编码器方式,训练特征模型。可以从x中提取出最优特征a。有时需要对x进行预处理,比如白化(x_rot彼此独立)。如果使用了预处理,必须保存相关参数,比如PCA中的U,用于使用到有标注数据。
方法:1、替代:参考自编码器,将隐藏层的输出a作为新的特征,代替传统的特征x。将(x,y)->(a,y)
2、级联:类似上述,但是保留了特征x。(x,y)->([a,x],y)。这种情况下,x会绕过隐藏层直接和输出层接触
2、通过有标注数据,softmax回归算法,获得(a,y)分类器(SVM、逻辑回归均可)
一旦获得上述的数据,分类很简单,和传统方法一样。使用监督学习的方式训练出分类器。特征好才是真的好!
需要注意,所有数据均可修正theta
3、自学习 vs 半监督学习
比如要求训练一个汽车-火车二分类。
1、自学习:对不同分布、无标注的数据进行训练特征。比如火车,汽车,摩托车、人等等图片。可以从网上下载
2、半监督:同分布,无标注,但范围固定。比如N张火车,N张汽车。
============================以上为自我学习部分,以下到深层网络=================================
1、微调,降低训练误差
1、前面通过无标注数据训练特征时,可以加入有标注数据进行训练。
2、只有大量标注数据清空下,微调效果明显。
1、通过大量无标注数据、神经网络算法,训练出好的特征->得到W1 b1 W2 b2
目的:数据规模,严重影响分类的准确性,而手动标注和特征选取是非常复杂的工作。故想到利用无标注的海量数据,获得更好的准确性。
对于无标注数据,通过自编码器方式,训练特征模型。可以从x中提取出最优特征a。有时需要对x进行预处理,比如白化(x_rot彼此独立)。如果使用了预处理,必须保存相关参数,比如PCA中的U,用于使用到有标注数据。
方法:1、替代:参考自编码器,将隐藏层的输出a作为新的特征,代替传统的特征x。将(x,y)->(a,y)
2、级联:类似上述,但是保留了特征x。(x,y)->([a,x],y)。这种情况下,x会绕过隐藏层直接和输出层接触
2、通过有标注数据,softmax回归算法,获得(a,y)分类器(SVM、逻辑回归均可)
一旦获得上述的数据,分类很简单,和传统方法一样。使用监督学习的方式训练出分类器。特征好才是真的好!
需要注意,所有数据均可修正theta
3、自学习 vs 半监督学习
比如要求训练一个汽车-火车二分类。
1、自学习:对不同分布、无标注的数据进行训练特征。比如火车,汽车,摩托车、人等等图片。可以从网上下载
2、半监督:同分布,无标注,但范围固定。比如N张火车,N张汽车。
============================以上为自我学习部分,以下到深层网络=================================
1、微调,降低训练误差
1、前面通过无标注数据训练特征时,可以加入有标注数据进行训练。
2、只有大量标注数据清空下,微调效果明显。
相关文章推荐
- centos7 无法连接无线网络 更新内核版本
- TCP协议中的三次握手和四次挥手(图解)
- TANBOB新一代网络模型
- 理解VMware虚拟机下网络连接的三种模式
- 设置虚拟网络接口与设置软路由的区别
- Android开发本地及网络Mp3音乐播放器(二十)歌曲下载完成后通知主界面更新本地音乐
- Android开发本地及网络Mp3音乐播放器(二十)歌曲下载完成后通知主界面更新本地音乐
- VMware12 + redhat7 + windows7网络配置
- XMLHttpRequest Post参数
- TCP/IP协议簇
- GDOI2016 Day2 T3 机密网络
- [原创]java WEB学习笔记11:HttpServlet(HttpServletRequest HttpServletRsponse) 以及关于 Servlet 小结
- 卷积神经网络
- VMware 网络连接方式
- okhttp封装时,提示 cannot resolve method OkHttpClient setConnectTimeout() 函数
- 网络黑客攻防学习平台之基础关第二题
- 网络流二十四题之十二 —— 软件补丁问题(BUG)
- 动态路由协议之ISIS
- 网络黑客攻防学习平台之基础关第一题
- HTTP协议相关