迁移学习 Transfer Learning

关于迁移学习的所有资料，包括：介绍、综述文章、最新文章、代表工作及其代码、常用数据集、硕博士论文等等。(可能是目前最全的迁移学习资料库？) 欢迎一起贡献！

Everything about Transfer Learning (Probably the most complete repository?). Your contribution is highly valued!

---

目录 Table of contents

• 最新文章 Latest

• 迁移学习简介 Introduction to transfer learning

• 研究领域与相关文章 Research articles by area

• 理论与综述文章 Theoretical and survey papers

• 相关代码 Available codes

• 迁移学习代表性研究学者 Scholars

• 相关的硕博士论文 Thesis

• 常用公开数据集及算法结果 Datasets and benchmark

• 其他 Miscellaneous

• Contributing

关于机器学习和行为识别的资料，请参考：行为识别｜机器学习

---

0.Latest

迁移学习文章 Awesome transfer learning papers

• 20180321 CVPR-18 构建了一个迁移学习算法，用于解决跨数据集之间的person-reidenfication: Unsupervised Cross-dataset Person Re-identification by Transfer Learning of Spatial-Temporal Patterns
• 20180316 arXiv 用optimal transport解决domain adaptation中类别不平衡的问题：Optimal Transport for Multi-source Domain Adaptation under Target Shift
• 20180315 ICLR-17 一篇综合进行two-sample test的文章：Revisiting Classifier Two-Sample Tests
• 20180312 arXiv 来自Google Brain团队的Wasserstein Auto-Encoders 代码
• 20180309 arXiv 利用已有网络的先验知识来加速目标网络的训练：Transfer Automatic Machine Learning
• 20180301 ICLR-18 最小熵领域对齐方法：Minimal-Entropy Correlation Alignment for Unsupervised Deep Domain Adaptation
• 20180228 arXiv 一篇通过标签一致性和MMD准则进行domain adaptation的文章: Discriminative Label Consistent Domain Adaptation
• 2018 arXiv 最新发表在arXiv上的深度domain adaptation的综述：Deep Visual Domain Adaptation: A Survey
• 20180226 AAAI-18 清华龙明盛组最新工作：Unsupervised Domain Adaptation with Distribution Matching Machines

更多...

---

1.迁移学习简介

• 简介文字资料

  • 简单的中文简介
  • 英文PPT
  • 中文PPT
  • 迁移学习中的领域自适应方法: PDF ｜ Video
  • 清华大学龙明盛老师的深度迁移学习报告：PPT(三星研究院)、PPT(Google China)

• 视频教程

  • 台湾大学李宏毅的视频讲解(中文视频)
  • 迁移学习中的领域自适应方法(中文)

• 迁移学习领域的著名学者、代表工作及实验室介绍

• 什么是负迁移(negative transfer)？

• 动手教程、代码、数据

  • 基于深度学习和迁移学习的识花实践(Tensorflow)
  • 基于Pytorch的图像分类
  • 使用Pytorch进行finetune

---

2.迁移学习研究领域与相关文章

Related articles by research areas:

• 领域自适应(非深度) Domain Adaptation (Shallow)

  • Domain adaptation介绍：Domain adaptation
  • 这个目录主要是非深度方法，深度方法在下面。

• 在线迁移学习 Online transfer learning

• 终身迁移学习 Lifelong transfer learning

• 异构迁移学习 Heterogeneous Transfer Learning

• 深度迁移学习 Deep Transfer Learning

  • 深度对抗迁移迁移学习 Deep Adversarial transfer learning

• 传递迁移学习 Transitive Transfer Learning

• 迁移学习用于行为识别 Transfer learning for activity recognition

一个推荐、分享论文的网站比较好，我在上面会持续整理相关的文章并分享阅读笔记。详情请见paperweekly。

---

3.理论与综述文章

• 迁移学习领域最具代表性的综述是A survey on transfer learning，发表于2010年，对迁移学习进行了比较权威的定义。

• 迁移学习的理论分析：

  • 迁移学习方面一直以来都比较缺乏理论分析与证明的文章，以下三篇连贯式的理论文章成为了经典：

    • NIPS-06 Analysis of Representations for Domain Adaptation
    • ML-10 A Theory of Learning from Different Domains
    • NIPS-08 Learning Bounds for Domain Adaptation

  • 许多研究者在迁移学习的研究中会应用MMD(Maximum Mean Discrepancy)这个最大均值差异来衡量不同domain之间的距离。MMD的理论文章是：

    • MMD的提出：A Hilbert Space Embedding for Distributions 以及 A Kernel Two-Sample Test
    • 多核MMD(MK-MMD)：Optimal kernel choice for large-scale two-sample tests
    • MMD及多核MMD代码：Matlab | Python

  • 理论研究方面，重点关注Alex Smola、Ben-David、Bernhard Schölkopf、Arthur Gretton等人的研究即可。

• 较新的综述：

  • 2018 arXiv 最新发表在arXiv上的深度domain adaptation的综述：Deep Visual Domain Adaptation: A Survey
  • 2017 多任务学习的综述，来自香港科技大学杨强团队：A survey on multi-task learning
  • 2017 异构迁移学习的综述：A survey on heterogeneous transfer learning
  • 2017 跨领域数据识别的综述：Cross-dataset recognition: a survey
  • 2016 A survey of transfer learning。其中交代了一些比较经典的如同构、异构等学习方法代表性文章。包括了很多方法介绍，值得一看。
  • 2015 中文综述：迁移学习研究进展

• 迁移学习与应用领域结合

  • 视觉domain adaptation综述：Visual Domain Adaptation: A Survey of Recent Advances
  • 迁移学习应用于行为识别综述：Transfer Learning for Activity Recognition: A Survey
  • 迁移学习与增强学习：Transfer Learning for Reinforcement Learning Domains: A Survey
  • 多个源域进行迁移的综述：A Survey of Multi-source Domain Adaptation。

---

4.代码

请见这里 | Please see HERE for some popular transfer learning codes.

---

5.迁移学习代表性研究学者

全部列表以及代表工作性见这里

• Qiang Yang：中文名杨强。香港科技大学计算机系主任，教授，大数据中心主任。迁移学习领域世界性专家。IEEE/AAAI/IAPR/AAAS fellow。[Google scholar]

• Sinno Jialin Pan：杨强的学生，香港科技大学博士，现任新加坡南洋理工大学助理教授。迁移学习领域代表性综述A survey on transfer learning的第一作者（Qiang Yang是二作）。[Google scholar]

• Wenyuan Dai：中文名戴文渊，上海交通大学硕士，现任第四范式人工智能创业公司CEO。迁移学习领域著名的牛人，在顶级会议上发表多篇高水平文章，每篇论文引用量巨大。

• Lixin Duan：中文名段立新，新加坡南洋理工大学博士，现就职于电子科技大学，教授。

• Fuzhen Zhuang：中文名庄福振，中科院计算所博士，现任中科院计算所副研究员。[Google scholar]

• Mingsheng Long：中文名龙明盛，清华大学博士，现任清华大学助理教授、博士生导师。[Google scholar]

• Qingyao Wu：中文名吴庆耀，现任华南理工大学副教授。主要做在线迁移学习、异构迁移学习方面的研究。

• Tongliang Liu：中文名刘同亮，现任悉尼大学助理教授。主要做迁移学习的一些理论方面的工作。

---

6.迁移学习相关的硕博士论文

硕博士论文可以让我们很快地对迁移学习的相关领域做一些了解，同时，也能很快地了解概括相关研究者的工作。其中，比较有名的有

• 2016 Baochen Sun的Correlation Alignment for Domain Adaptation

• 2014 南加州大学的Boqing Gong的Kernel Methods for Unsupervised Domain Adaptation

• 2014 清华大学龙明盛的迁移学习问题与方法研究

• 2014 中科院计算所赵中堂的自适应行为识别中的迁移学习方法研究

• 2012 杨强的学生Hao Hu的Learning based Activity Recognition

• 2012 杨强的学生Wencheng Zheng的Learning with Limited Data in Sensor-based Human Behavior Prediction

• 2010 杨强的学生Sinno Jialin Pan的Feature-based Transfer Learning and Its Applications

• 2009 上海交通大学戴文渊的基于实例和特征的迁移学习算法研究

其他的文章，请见完整版。

---

7.公开数据集及实验结果

迁移学习领域有一些公开的数据集，用来对比算法的表现。

• 这里整理了常用的公开数据集
• 这里整理汇总了一些已发表的文章在这些数据集上的实验结果。

Please see HERE for the popular transfer learning datasets and HERE for some benchmark results.

---

其他

记与迁移学习大牛杨强教授的第二次会面

---

Contributing

如果你对本项目感兴趣，非常欢迎你加入！

• 正常参与：请直接fork、pull request，或者与我联系我把你加入合作者中
• 如果要上传文件：请不要直接上传到项目中，否则会造成git版本库过大。正确的方法是上传它的超链接。请按照如下方式上传：
  • (墙内)目前没有找到比较好的方式，只能通过链接，或者自己网盘的链接来做。
  • (墙外)首先在UPLOAD直接上传（不需要注册账号）；上传成功后，在DOWNLOAD里找到你刚上传的文件，共享链接即可。

Welcome!

[文章版权声明]这个仓库是我开源到Github上的，可以遵守相关的开源协议进行使用。这个仓库中包含有很多研究者的论文、硕博士论文等，都来源于在网上的下载，仅作为学术研究使用。我对其中一些文章都写了自己的浅见，希望能很好地帮助理解。这些文章的版权属于相应的出版社。如果作者或出版社有异议，请联系我进行删除。一切都是为了更好地学术！