图像自监督预训练小结(2016-2021) 早期方案(2016-2018)通过设计代理任务实现自监督训练，包括预测周围图像块的相对位置(转化为九宫格的分类问题)，预测图像的旋转角度等 中期方案(2019-2021)基于对比学习的方法，通过构造正负样本对(正样本对为同一张图片的不同数据增广构成的两张图片，负样本对为不同图片)，拉近正样本对特征之间的距离，拉远负样本对特征之间之间的距离。采用InfoNCE作为损失函数。主要包括像MoCo(v1-v3)、SimCLR、BYOL、SwAV、SimSiam 近期方案(2021-现在)主要将NLP中掩码机制(mask部分区域，模型对masked的区域进行预测，类似完形填空)成功地借鉴到CV领域，按照时间顺序，主要有BEiT、MAE、SimMIM、MaskFeat等系列工作 参考文献 自监督学习系列（一）：基于 Pretext Task 自监督学习系列（二）：基于 Contrastive Learning 自监督学习系列（三）：基于 Masked Image Modeling 自监督学习代码库 MMSelfSup