SimCLR

SimCLR通过隐藏空间的对比损失最大化相同数据在不同增广下的一致性来学习表达。SimCLR框架有四个主要的组件，分别是：数据增广，encode网络，projection head网络和对比学习函数。

对于数据$x$，从同一个数据增广族中抽取两个独立的数据增广算子（$t\sim T$和$t^{\prime }\sim T$），以获得两个相关的视图${\hat{x}}_i$和${\hat{x}}_j$，${\hat{x}}_i$和${\hat{x}}_j$是一对正样本，然后一个神经网络编码器$f\left(\cdot \right)$从增广的数据中提取特征$h_i=f\left({\hat{x}}_i\right),h_j=f\left({\hat{x}}_j\right),$。再然后一个小的神经网络project head $g\left(\cdot \right)$将特征映射到对比损失的空间。project head采用带有一个隐含层的MLP获取$z_i=g\left(h_i\right)=W^{\left(2\right)}\sigma \left(W^{\left(1\right)}{h}_i\right)$。

对于包含一对正样本${\hat{x}}_i$和${\hat{x}}_j$的集合$\{{\hat{x}}_k\}$，对比预测任务目的是对于给定的${\hat{x}}_i$在$\{\hat{x}{\}}_{k\ne i}$中识别出${\hat{x}}_j$。随机挑选$N$个样本组成一个minibatch，这个minibatch中则有$2N$个数据样本，将其他$2\left(N-1\right)$个扩增的样本作为这个minibatch中的负样本，设$sim\left(u,v\right)=u^{T}v/\Vert u\Vert \Vert v\Vert$表示$l_2$正则化后你的$u$和$v$的点积，那么对一对正样本$\left(i,j\right)$，损失函数如下定义：

$$l_{i,j}=-log\frac{exp\left(sim\left(z_i,z_j\right)/\tau \right)}{{\sum }_{k=1}^{2N}{1}_{[k\ne i]}exp\left(sim\left(z_i,z_k\right)/\tau \right)}$$

最后的损失函数计算一个minibatch中的所有的正样本对，包括$\left(i,j\right)$和$\left(j,i\right)$。下面是SimCLR的伪代码。从伪代码中可以看出，编码器$f\left(\cdot \right)$和project head $g\left(\cdot \right)$ 在训练时都会被更新参数，但是只有编码器$f\left(\cdot \right)$用于下游任务。

simCLR不采用memory bank的形式进行训练，而是加大batchsize，bacth size为8192，对于每一个正样本，将会有16382张负样本实例。增大batch size其实相当于每个minibatch时动态生成一个memory bank。论文中发现使用标准的SGD/Momentum，大batch size训练时是不稳定的，论文中采用LARS优化器。

参考

1. The Illustrated SimCLR Framework
2. SimCLR