主讲人

陈文儒(浙江大学-在校学生-软件学院-硕士生-软件工程-2019)

本期论文

Momentum Contrast

无监督学习

现实生活中常常会有这样的问题：缺乏足够的先验知识，因此难以人工标注类别或进行人工类别标注的成本太高。很自然地，我们希望计算机能代我们完成这些工作，或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。

常用的无监督学习算法主要有主成分分析方法PCA等，等距映射方法、局部线性嵌入方法、拉普拉斯特征映射方法、黑塞局部线性嵌入方法和局部切空间排列方法等。

从原理上来说PCA等数据降维算法同样适用于深度学习，但是这些数据降维方法复杂度较高，并且其算法的目标太明确，使得抽象后的低维数据中没有次要信息，而这些次要信息可能在更高层看来是区分数据的主要因素。所以现在深度学习中采用的无监督学习方法通常采用较为简单的算法和直观的评价标准。

引言

在之前的论文分享中，我们通过介绍SimCLR来让大家认识了contrastive learning。大家应该也知道无监督学习的难点和意义是什么。那么SimCLR有什么地方值得思考改进呢？另外，Kaiming He 团队提出了Momentum Contrast (MoCo) 方法值得思考。本次论文分享将和大家学习MoCo，以及探讨一下对SimCLR的提升。

分享视频https://momodel.cn/live/5ea55530474a9992ee6b743f