【迁移学习】2010-A Survey on Transfer Learning
2015-06-11 16:36
411 查看
资源:http://www.cse.ust.hk/TL/
![](http://images0.cnblogs.com/blog/405927/201506/111635353323990.png)
关于照片的情感分析.
源:比如你之前已经搜集了大量N种类型物品的图片进行了大量的人工标记(label),耗费了巨大的人力物力,构建了源情感分类器(即输入一张照片,可以分析出照片的情感).注:这里的情感不是指人物的情感,而是指照片中传达出来的情感,比如这张照片是积极的还是消极的.
目标:因为不同类型的物品,他们在源数据集中的分布也是不同的,所以为了维护一个很好的分类器性能,经常需要增加新的物品.传统的方式是搜集大量N+1号物品的照片进行大量的人工标记.建立模型.而迁移学习要做的是借鉴之前已经训练好的针对N中类型的分类器,来训练这个N+1号分类器.这样就节省了大量的人工标注的成本.
与传统进行比较:
![](http://images0.cnblogs.com/blog/405927/201506/111635364883303.png)
![](http://images0.cnblogs.com/blog/405927/201506/111635375045658.png)
![](http://images0.cnblogs.com/blog/405927/201506/111635380047571.png)
如果两个域不同,那么他们可能有不同的特征空间和边缘概率分布.
![](http://images0.cnblogs.com/blog/405927/201506/111635388486914.png)
![](http://images0.cnblogs.com/blog/405927/201506/111635404577857.png)
f()可以用于预测一个新的instance x的label.f(x)可以表示为
![](http://images0.cnblogs.com/blog/405927/201506/111635415196198.png)
迁移学习:给定一个源域DS和一个学习任务(task)TS,一个目标域DT和一个目标学习任务TT.迁移学习旨在利用DS和TS中的knowledge来提高目标预测函数f()在DT中的性能,其中DS≠DT或TS≠TT.
![](http://images0.cnblogs.com/blog/405927/201506/111635424101527.png)
可以发现,我们把迁移学习的learning settings分为3类:
inductive transfer learning(归纳迁移学习), transductive transfer learning(直推式迁移学习), and unsupervised transfer learning(无监督迁移学习).
![](http://images0.cnblogs.com/blog/405927/201506/111635445198681.png)
分为两类:
第一类:
inductive transfer learning:通过把knowledge从源task迁移到目标task,以此在目标task中取得高性能
multitask learning : 同时学习目标和源task
第二类:
源域和目标域的标记空间不同
![](http://images0.cnblogs.com/blog/405927/201506/111635461914138.png)
![](http://images0.cnblogs.com/blog/405927/201506/111635475355394.png)
![](http://images0.cnblogs.com/blog/405927/201506/111635490352137.png)
目标域中需要少量的标记好的数据作为训练集.
不同的域,参数不同.在目标域中,损失函数需要设定更大的权重.
方法: statistical relational learning techniques
利用部分目标数据来获得边缘概率.
定义:给定一个源域DS和相应的学习taskTS,一个目标域DT和相应的学习task.直推式学习旨在提高DT中的目标预测函数f(),利用DS和TS中的knowledge.其中DS≠DT且TS=TT.此外,训练时需要一些无标记的目标域数据.
在源域和目的域中都没有标记的数据.
情绪分类问题
图片分类问题
wifi定位
迁移学习的几个数据集和工具
S
![](http://images0.cnblogs.com/blog/405927/201506/111635353323990.png)
简介:
一个例子:关于照片的情感分析.
源:比如你之前已经搜集了大量N种类型物品的图片进行了大量的人工标记(label),耗费了巨大的人力物力,构建了源情感分类器(即输入一张照片,可以分析出照片的情感).注:这里的情感不是指人物的情感,而是指照片中传达出来的情感,比如这张照片是积极的还是消极的.
目标:因为不同类型的物品,他们在源数据集中的分布也是不同的,所以为了维护一个很好的分类器性能,经常需要增加新的物品.传统的方式是搜集大量N+1号物品的照片进行大量的人工标记.建立模型.而迁移学习要做的是借鉴之前已经训练好的针对N中类型的分类器,来训练这个N+1号分类器.这样就节省了大量的人工标注的成本.
与传统进行比较:
![](http://images0.cnblogs.com/blog/405927/201506/111635364883303.png)
几个概念:
(1)domain D:
包含一个特征空间X和一个边缘概率分布P(X)![](http://images0.cnblogs.com/blog/405927/201506/111635375045658.png)
![](http://images0.cnblogs.com/blog/405927/201506/111635380047571.png)
如果两个域不同,那么他们可能有不同的特征空间和边缘概率分布.
(2)task T:
给定一个域D,一个task包含两部分:一个标记空间y和一个目标预测函数f().![](http://images0.cnblogs.com/blog/405927/201506/111635388486914.png)
![](http://images0.cnblogs.com/blog/405927/201506/111635404577857.png)
f()可以用于预测一个新的instance x的label.f(x)可以表示为
![](http://images0.cnblogs.com/blog/405927/201506/111635415196198.png)
迁移学习:给定一个源域DS和一个学习任务(task)TS,一个目标域DT和一个目标学习任务TT.迁移学习旨在利用DS和TS中的knowledge来提高目标预测函数f()在DT中的性能,其中DS≠DT或TS≠TT.
几个问题:
(1)迁移什么?
什么样的knowledge可以拿来迁移? 答:源域和目标域有相关性的才可以拿来迁移.![](http://images0.cnblogs.com/blog/405927/201506/111635424101527.png)
可以发现,我们把迁移学习的learning settings分为3类:
inductive transfer learning(归纳迁移学习), transductive transfer learning(直推式迁移学习), and unsupervised transfer learning(无监督迁移学习).
![](http://images0.cnblogs.com/blog/405927/201506/111635445198681.png)
a.inductive transfer learning(归纳迁移学习)
研究较多分为两类:
第一类:
inductive transfer learning:通过把knowledge从源task迁移到目标task,以此在目标task中取得高性能
multitask learning : 同时学习目标和源task
第二类:
源域和目标域的标记空间不同
b.transductive transfer learning(直推式迁移学习)
c.unsupervised transfer learning(无监督迁移学习)
研究较少![](http://images0.cnblogs.com/blog/405927/201506/111635461914138.png)
![](http://images0.cnblogs.com/blog/405927/201506/111635475355394.png)
![](http://images0.cnblogs.com/blog/405927/201506/111635490352137.png)
(2)怎么迁移?
(3)什么时候迁移?
inductive transfer learning(归纳迁移学习)
定义:给定一个源域DS和一个学习任务TS,一个目标域DT和一个学习任务TT.归纳迁移学习旨在通过使用DS和TS中的知识来提高目标预测函数的性能,其中TS≠TT.目标域中需要少量的标记好的数据作为训练集.
(1)迁移instances中的knowledge
尽管源域中并非所有数据都可以被利用,但是,还是可以提取出其中的部分有标记的数据用于目标域.(2)迁移feature representative中的knowledge
目的:找到好的特征代表,以此来减小源域与目标域中的差异.不同的源域数据类型,找到这些好的特征代表的策略也是不同的.如果源域中有大量有效的带标记的数据,监督学习方法可以用于构建一个特征代表.
如果没有,则采用无监督学习方法来构造特征代表.
(3)迁移Parameters中的knowledge
有相关的task的不同模型之间应该共享一些参数或超参数的先验分布.不同的域,参数不同.在目标域中,损失函数需要设定更大的权重.
(4)迁移Relational中的knowledge
比如数据网和社会网络.尝试将源域中的relationship转换到目标域中.方法: statistical relational learning techniques
transductive transfer learning(直推式迁移学习)
源task和目标task是一样的,域不同.利用部分目标数据来获得边缘概率.
定义:给定一个源域DS和相应的学习taskTS,一个目标域DT和相应的学习task.直推式学习旨在提高DT中的目标预测函数f(),利用DS和TS中的knowledge.其中DS≠DT且TS=TT.此外,训练时需要一些无标记的目标域数据.
(1)迁移instances中的knowledge
方法:重要性抽样:通过最小化期望风险来学习到模型中的最优参数(2)迁移feature representative中的knowledge
利用目标域中的无标记数据来提取一些相关的特征,以此来减小域的差异性.unsupervised transfer learning(无监督迁移学习)
定义:给定一个源域DS和相应的学习taskTS,一个目标域DT和相应的学习task.直推式学习旨在提高DT中的目标预测函数f(),利用DS和TS中的knowledge.其中TS≠TT且YS和YT并不明显.在源域和目的域中都没有标记的数据.
(1)迁移feature representative中的knowledge
以自学习聚类(self-taught clustering)为例,旨在通过源域中大量的无标记的数据,在目标域中对少量的无标记的数据进行聚类,迁移学习的边界和消极迁移学习
如果两个域之间没有半毛钱关系,那么这种迁移的效果会很差.迁移学习的应用
自然语言处理情绪分类问题
图片分类问题
wifi定位
迁移学习的几个数据集和工具
S
相关文章推荐
- TIKZ全局样式设置
- 对js闭包的学习
- html 字符串拼接
- JS常用代码备忘
- HTML5新特性展示利用history.replaceState()修改历史记录
- jquery sticky停靠在右下角的插件 ,jquery pushytip提示框显示插件
- iOS5 strong, weak, unsafe_unretained ARC
- 如何判断浏览器的类型?
- js 身份证号验证
- css中div高度自适应
- React.js 基础入门四--要点总结
- 【前端JS】input textarea 默认文字,点击消失
- 手动触发js事件
- JQuery中$.ajax()方法参数详解
- JQuery学习系列1
- js获取url的参数的正则方式
- 剑指offer-第三章高质量的代码(调整数组顺序使得奇数位于偶数的前面)
- 网页 css 样式 初始化
- A Few Words about my ProRes Encoder
- JavaScript语法中的九个陷阱