这篇论文是 ICML 2020 的一篇文章，针对对比学习的损失函数进行了改进。
论文演示：DEMO
论文代码：GitHub
0. 摘要
两个对比损失最关键的要素：
- 正例对特征的对齐（就是找最接近的正例对）。
- 超球面特征分布的均匀分布（可以保存最多的信息）。
随后本文设计了一个可优化度量来量化每个属性。
直接优化这两个要素可以显著提升下游任务（CV 和 NLP）的效果。
两钟要素的展示：
1. 方法
1.1 无监督对比表示学习
无监督对比表示学习（通常简称为对比表示学习），旨在找到
对比表示学习损失函数。
1.2 本文方法
本文主要考虑的两个重点：对齐和均匀分布
随后文章给出了两种损失的表达式。
对齐损失：
均匀分布损失：
希望均匀性度量既是渐近正确的（即优化该度量的分布应该收敛到均匀分布），又是有限点的经验合理的。为此，本文考虑高斯势核（也称为径向基函数 RBF 核）。
同时优化两种损失的代码。可以看到非常简单，仅有不到10行代码。
1.3 分布效果分析
随机初始化、监督学习和对比学习对应的特征分布。对比学习的特征分布最均匀，同时正例对分布比较紧密（虽然不如监督学习）。
给定点数（10000个点）对应的特征分布情况。对比学习的效果最好，能让特征均匀分布在球面上。
2. 实验
分类实验：
超参数设置实验以及两钟损失的权衡实验：
3. 思考
文章对对比学习的损失函数进行了改进，从而使得表示学习能够更好地将数据映射到超球面。我们未来的工作可以参考这篇的损失函数进行改进。
Comments | NOTHING