作者： 19届 lz

论文：《Dropping Pixels for Adversarial Robustness》

问题:

深度神经网络容易受到对抗性示例的攻击，而对抗性示例是故意设计为导致模型出错的输入.
这些图像被模型错误分类，但人类可以识别.
这种对抗性图像通常是通过向合法输入添加一个有界 L0、L2 或 L∞ 范数的小扰动来生成的

贡献:

我们展示了图像分类器可以通过对像素进行随机二次采样，使用减少冗余的输入进行训练，而不会显着降低准确性。我们表明，当使用在 [0, 1] 中随机选择的丢弃率的子采样图像训练模型时，可以获得最佳结果。

我们将可解释性方法应用于使用二次采样图像训练的模型，并认为这种方法无法解释模型如何从几个像素中识别图像。我们还可视化了网络第一层的卷积滤波器，并表明，在这方面，该模型的行为类似于使用对抗训练训练的网络。

如何在不进行对抗训练的情况下使用这种洞察力来训练鲁棒的分类器。

研究过程及结果：

由于相邻像素之间的强相关性，图像数据包含高冗余，即，即使删除了大部分像素，也可以恢复图像 。因此，以选择一个像素为条件，其周围的像素与输出的相关性较弱，因为它们与中心像素在内容上显着重叠，去除它们不会导致精度大幅下降。因此，构建稳健特征的一种直接方法是对图像像素进行下采样。由于较远的像素具有较小的相关性，因此它们对模型的预测有重要贡献，因此被认为是稳健的特征。

以较高的像素丢弃率会导致较低的准确性。然而，即使在非常高的丢弃率下，准确性仍然很高。

以上是CIFAR10 数据集的结果。在实验 1 中，使用原始图像训练和测试模型。在实验 2 中，模型以 90% 的丢弃率进行了二次采样图像的训练和测试。在实验 3 中，模型使用在 [0, 1] 中统一选择的下采样图像进行训练，并在下采样图像上进行测试，下采样率为 90%。

效果:
更深的网络表现更好
丢弃率在每个时期随机选择在 0% 到 100% 之间时，该模型可以达到最佳效果。

为了防止模型可能已经学会为原始图像和下采样图像生成相似的表示。，我们训练模型将子采样图像分类为其真实标签，同时将原始图像映射到均匀分布。种训练方法使网络在子采样图像上的准确率达到 78.9%（下降率为 90%），仅比仅使用子采样图像训练的模型低 2% 左右。结果表明，该网络能够对子采样图像进行分类，而无需实际学习自然图像的特征。

将子采样图像分类为其真实标签，同时将子采样噪声图像映射到均匀分布。训练的模型在子采样图像上达到了 80.9% 的准确率，这与仅使用子采样图像训练的模型几乎相同。下图显示了少数图像的解释图。对于这个模型，对原始图像的解释与边缘图案无关。此外，与 3a 和 3b 相比，对二次采样图像的解释更加稀疏。此外，大多数较大的梯度值位于像素没有被丢弃的位置。

可视化卷积滤波器

三种情况，一个是正常训练的模型，一个是用 90% 丢弃率的子采样图像训练的模型，一个用 [0, 1] 中随机选择的丢弃率的子采样图像训练的模型。

用二次采样图像训练的模型只有在中心位置具有大值的过滤器。这意味着网络识别出相邻像素之间没有空间相关性，因此只需将图像的几个缩放版本传递到下一层。

conclusion

在本文中，我们展示了可以训练图像分类器来识别具有高丢弃率的图像。然后，我们建议使用在 [0, 1] 中随机选择的丢弃率的子采样图像来训练模型。我们在 GTSRB 和 CIFR10 数据集上的实验结果表明，这些模型在 L0、L2 和 L∞ 扰动的所有情况下都提高了对抗性示例的鲁棒性，同时将标准精度降低了一个很小的值。