对比学习串烧(李沐大神视频学习笔记)

发布网友发布时间：2024-10-02 15:43

共1个回答

热心网友时间：2024-10-30 06:27

今天，让我们深入探讨李沐大神团队分享的对比学习发展历程。在计算机视觉领域，这个阶段呈现出百花齐放的景象，方法和模型尚未统一，目标函数和代理任务也存在多样性。其中，InstDise作为起点，通过个体判别任务，利用卷积神经网络学习图片的表征，区分不同图片，通过对比学习和内存银行存储大量负样本进行训练。

InvaSpread则作为SimCLR的前身，采用端到端学习，利用batch内的数据作为负样本，而CPC则是一种普适任务模型，通过预测序列的特征来进行对比学习，适用于多种序列输入。CMC进一步扩展了负例选择的灵活性，通过多视图数据增强强化了学习效果。

进入第二阶段，MOCO和simCLR两位主角MOCO v1和v2，将对比学习方法归纳为字典查询问题，引入队列和动量编码器，显著提升性能。SimCLR v1和v2通过增强数据增强、投影层和更长的训练周期，优化了模型。MOCO v2则借鉴了SimCLR的优点，优化了模型细节。

SimCLR v2引入了半监督学习流程，通过大模型预训练和微调相结合，利用自监督提升模型的下游任务性能。SwAV则是通过聚类中心替代负样本，利用多-crop策略获取更多正样本，减少了资源浪费。

随着技术发展，对比学习逐渐统一了目标函数和模型结构，Transformer在vision领域带来了显著提升，MOCO v3和DINO则是Transformer在对比学习中的新尝试，它们结合了对比学习的特性与Transformer的强大表示能力。

总之，对比学习在不断地迭代和创新中，从个体判别到多模态学习，从负样本处理到Transformer的引入，展现了其在计算机视觉领域的广阔应用前景。