MoCo论文精读
前言：这一部分将通过MoCo这篇论文引入对比学习的研究讨论。
论文标题：Momentum Contrast for Unsupervised Visual Representation Learning
相关知识
对比学习
对比学习被当做自监督学习中的一个非常重要的部分；
**基本原理：**将一个样本的不同的、增强的新样本在embedding空间中尽可能地近，然后让不同样本之间尽可能远。
**注意：**这里的不同样本embedding之后的结果不是添加标签，只是比较空间中的距离确认相似程度。
**实现过程：**一种流行的方法就是设计各种pretext构建正负样本，让模型从伪标签中学习特征
常见的pretext方法：
- 颜色变换；
- 几何变换；
- 基于上下文的任务；
- 基于交叉模式的任务；
Abstract
本文应用无监督视觉表征学习的动量对比，队列和移动平均encoder构建动态字典。得到的模型在ImageNet分类的common linear control以及下游任务中表现很好。
Introduction