这篇论文是 ICML 2020 的一篇文章,针对对比学习的损失函数进行了改进。
论文演示:DEMO
论文代码:GitHub
0. 摘要
两个对比损失最关键的要素:
- 正例对特征的对齐(就是找最接近的正例对)。
- 超球面特征分布的均匀分布(可以保存最多的信息)。
随后本文设计了一个可优化度量来量化每个属性。
直接优化这两个要素可以显著提升下游任务(CV 和 NLP)的效果。
两钟要素的展示:
1. 方法
1.1 无监督对比表示学习
无监督对比表示学习(通常简称为对比表示学习),旨在找到
对比表示学习损失函数。
1.2 本文方法
本文主要考虑的两个重点:对齐和均匀分布
随后文章给出了两种损失的表达式。
对齐损失:
均匀分布损失:
希望均匀性度量既是渐近正确的(即优化该度量的分布应该收敛到均匀分布),又是有限点的经验合理的。为此,本文考虑高斯势核(也称为径向基函数 RBF 核)。
同时优化两种损失的代码。可以看到非常简单,仅有不到10行代码。
1.3 分布效果分析
随机初始化、监督学习和对比学习对应的特征分布。对比学习的特征分布最均匀,同时正例对分布比较紧密(虽然不如监督学习)。
给定点数(10000个点)对应的特征分布情况。对比学习的效果最好,能让特征均匀分布在球面上。
2. 实验
分类实验:
超参数设置实验以及两钟损失的权衡实验:
3. 思考
文章对对比学习的损失函数进行了改进,从而使得表示学习能够更好地将数据映射到超球面。我们未来的工作可以参考这篇的损失函数进行改进。
Comments | NOTHING