迁移学习（Transfer learning）

迁移学习（Transfer learning）

1 Introduction

Example：Dog/Cat Classifier

现实生活中一直存在迁移学习

2 Classification

label & label：{(xs,ys),(xt,yt)}

Fine tuning：复制前面几层layer的实验效果，复制越多越差

multitask learning：共用前面几层layer；共用中间的layer；

不同语种之间的迁移

Progressive NN：迁移其他任务训练得到的神经网络

label & unlabel：{(xs,ys),(xt)}
4000

Domian-adversarial training：

feature exteactor → Domian classifier → domain label 骗过

feature exteactor → label predictor 保证

《Unsupervised Domain Adaptation by Backpropagation》——ICML2015

《Domain-Adversarial Training of Neural Networks》——JMLR2016



Zero-shot learning：不同的任务，例如source data是猫和狗，test data是草泥马

只预测得到接近的类，接近的特征

attribute embedding：利用神经网络等模型映射到映射空间中，越接近的点越像

f∗,g∗=argminf,g∑nmax(0,k−f(xn)g(yn)+maxm≠nf(xn)g(ym))，k由自己定义

unlabel & label：self-taught learning

unlabel & unlabel：self-taught clustering

$(".MathJax").remove();
<
a23c
/script>