对抗样本的存在表明现代神经网络是相当脆弱的。
为解决这一问题，研究者相继提出了许多方法，其中使用对抗样本进行训练被认为是至今最有效的方法之一。
然而，经过对抗训练后神经网络对于正常样本的性能往往会下降，这一问题引起了学术界的广泛关注，这种准确度与鲁棒性之间互相妥协的本质原因仍未被找出。
在这一工作中，讲者及其团队从正则化的角度来研究神经网络的对抗鲁棒性。嘉宾团队指出，经过对抗训练之后的网络在特征空间的绝大多数方向上将被平滑，导致样本集中于决策边界附近；换言之，经过对抗训练的网络输出往往是相对低置信度的，这种网络对于正常样本的性能往往也是更差的。
研究表明，我们应该以更温和的手段来构建对抗鲁棒性，避免过度正则化。
温宇馨，本科毕业于华南理工大学，目前在华南理工大学几何感知与智能实验室就读博士三年级，导师为贾奎教授。研究兴趣包括计算机视觉与机器学习。已在相关领域的国际顶级会议期刊如ICML, TPAMI等发表多篇论文。
在温宇馨同学提到的这个案例中，第一张熊猫的图片在神经网络中以57.7%的置信度识别为熊猫；但把第二张熊猫图片再次输入同一个神经网络中，居然以99.3%的置信度识别为长臂猿。在人眼中明明是相同的图片，为什么会在神经网络中得到相差如此之大的结果呢？这就引出了对抗样本的概念。
事实上第二张一幅经过人工精心设计的图片，也被称为对抗样本。这幅图片上叠加了一层噪声，而神经网络提取特征的方式可以简单的理解为对像素的计算。因此人工合成的图像在神经网络看来是两幅完全不同的图片。对抗样本有两个特性：（1）误导性；（2）不可感知性。这两个特性分别表示对神经网络的误导性，以及对人眼的隐蔽性。
对抗样本在现实生活中会导致一些意想不到的隐患，就比如：
这两个案例分别代表了对抗样本可能对自动驾驶行业和人脸识别行业造成的威胁：无法识别被贴上特制标识的交通标志，或者在特制的眼镜干扰下无法识别面部。
面对这种威胁，最好的办法就是生成对抗样本，以提高网络的对抗鲁棒性。下述生成对抗样本的方式被称为白盒攻击，即已知网络及其参数，通过设计的一个损失函数，获得对抗噪声，之后将其叠加到原图像当中，获得对抗样本。为了使得模型具有鲁棒性，一个最直接的方式就是将对抗样本用数据增集的方式加到原函数当中进行对抗训练。除此之外，还能够通过对输入图像进行预处理以消除对抗样本的影响、调节网络参数使其偏向某类特定解使输出平滑，或者改变网络结构以获得避免噪声的能力。
在以下的内容中，模型获得的对抗鲁棒性均通过对抗训练获得。
在对抗样本被提出的时候，研究人员往往认为对抗样本不仅可以增加模型的对抗鲁棒性，也增加模型的泛化性。但近期的研究表明这种想法似乎不太现实。
在上图中，蓝色的线代表对抗样本在模型中的性能，而红色的线则代表正常样本在模型中的性能。可以看到随着对抗训练中对抗样本强度的增加，对抗样本的误差在下降，而正常样本的误差在上升，可以得出获得对抗鲁棒性往往是以模型在正常样本上的性能退化为代价的。
下面探究对抗鲁棒性对模型泛化性的影响。
对于不同对抗鲁棒性的模型在同样的正常样本上的性能，分别考量其错误率和损失，其结果表现在上面的两幅图中，左边的是错误率，右边的是损失。
在正常样本上为什么会出现看上去矛盾的现象呢？这不禁让人疑问：模型在获得鲁棒性的过程中发生了怎样的改变？而这些改变又对模型决策产生了怎样的影响？为什么对抗鲁棒性作为一种有效的正则化手段会导致模型拥有较差的性能？这就引出了本次分享的第三个主题，对抗鲁棒性与正则化的理论分析。
分享者在这一部分中的主要工作是在给定鲁棒性的情况下，模型的泛化性会产生怎样的改变，并且探究这种变化产生的原因。
首先，根据鲁棒性框架，作者推导出了一个泛化界，在这个界中margin, adversarial robustness radius和singular value of weight matrices 建立起了关系，下面的公式显示的是推导过后泛化误差界的上界：
其中νmin表示样本到决策边界是最短的点的距离，在对抗鲁棒性的前提下，其需要大于对抗性的鲁棒性所定义的半径；
σ^imin神经网络权重矩阵的最小奇异值，可简单理解为从输入空间到特征空间的放大或缩小；
umin表示特征空间上某个点距离其最近的决策边界的最小距离；
公式中的其余项在理解泛化界中不构成障碍，可以暂时不去考虑。
为了更形象的去理解上述公式，可以看上面的圆形与方形种类的分类。当不要求对抗鲁棒性的时候，红色的虚线可以作为决策边界。但是当要求了对抗鲁棒性之后，其表现出了正则化效果就是使得原本可行的红色决策边界不再可行，原本的决策边界现在变为了黑色的实线。值得一提的是，边界距离margin则表现为样本（黑色的圆形或者方形）到距离其最近决策边界（黑色实线）的距离。
上图是神经网络中某一层的特征投影的情况。以ReLu为激活函数的神经网络将空间分割成为若干部分，每个区域对于x而言都是分段线性的，即从x到x’是一个分段线性变换的过程。这张图说明，我们可以将输入空间上的边界距与特征空间上的边界距联系在一起。
上一节中，margin, adversarial robustness radius和singular value of weight matrices 建立起了关系。在本节当中，作者将会分享根据上面的理论指导在模型中观察到的现象。
我们经验性地发现：
样本在决策边界聚集平滑了由于样本空间上扰动带来的在特征空间上的突变，但是同时也增加了低置信度的误分类
这是CIFAR10数据集在ResNet-56上训练后的结果，横向坐标代表着层深，纵向坐标代表着该层传输矩阵展开成线性变换之后对应的奇异值的方差值的大小。其中legend代表着对抗鲁棒性的强度，纵向对比来看，绿色点代表对抗鲁棒性更强的模型权重矩阵奇异值方差在绝大多数层下要比同层的对抗鲁棒性较弱的红色点的方差值小。这导致了经过激活函数后的输出的范数的方差减少，换句话说就是输入空间的扰动传递到特征空间的扰动变小。
而激活层输出的范数的方差减少表示的是神经网络中每一层的输出都更加的集中。上图是测试集的结果，横坐标表示margin的大小，纵坐标表示归一化之后的概率。可以看到，测试集的margin分布结果表明，随着对抗鲁棒性的增加，样本更加的集中于决策边界的附近。这会导致前面的两个结论：（1）对抗鲁棒性的增强，会导致正常样本的准确度下降；（2）测试样本的损失在减少，测试样本和训练样本之间的loss gap也在缩小。
上图表示的是模型在训练集上的表现，同样表现出，随着对抗鲁棒性的增强，其分类置信度也在下降。但是相比于测试集，训练集的结果并不存在大规模的误判行为，即模型可以overfit到对应的训练集中。这种对于分类正确以及分类错误的样本置信度均降低的行为，映射到surrogate loss上，比如cross entropy loss上，一方面是对于分类正确的样本loss更大了，另一方面是对于分类错误的样本loss更小了。而在这里，overfitting导致原本就不存在大量分错的样本，因此对于训练集来说，loss变高的效果会比降低的效果更明显，而测试集则刚好相反。因此，对比测试集结果，可以看到训练集的loss要比测试集的loss增长快，这也是导致loss gap变小的原因。
上述的情况是在模型容纳性较大的情况下的结果，那么如果模型的容纳性不足又会怎样？分享者展示了通过限制模型的谱范数进而限制模型的容纳性，模型容纳性以Uncontrolled为最大，以1为最小。随着模型容纳性降低，Error Gap从上升转而下降，Loss Gap则一直保持着下降的态势，这说明当网络没有办法overfit到训练样本时，即training error开始变大时，模型的error gap以及loss gap开始趋向于表现出一样的性质。
重新回到这张图，根据上面的一系列分享，可以得出一个结论：样本集中于在决策边界上使得对抗扰动造成的突变被平滑了，但是同时也增加了低置信度的预测，甚至是误判。
这项工作的意义在于：对抗鲁棒性使得样本集中于决策边界附近，这表明为了降低对抗扰动的影响，模型牺牲了其区分类间差异的能力；换言之，对抗训练确实是一种有效的正则化手段，但它是通过不恰当地缩减神经网络假设空间来实现的。那么如何去消除这种不恰当的缩减就是接下来的研究方向。
对抗防御, 用拓扑学分析，有什么比较好的一些研究思路呢?
从逻辑上面，对抗噪声其实是通过模型的一层层权重矩阵放大而导致在特征空间的扰动的，在这种情况下，可以考虑追踪对抗噪声被放大神经元，其实这些神经元本质上特征空间里面的一些region，然后这些region会组成一个特征空间，这个特征空间的变换可能会跟你提到的拓扑学有关系，比如说我们要求其具有某些特定的拓扑性质等等。
很多人说正则化就是适应噪声的一种防御方法，如何理解？
正则化我的理解更多是一种先验，就是你要求模型具有怎样的性质，这种性质恰好可以防御对抗样本，比如说要求Lipchitz properties等等，但是其实Lipchitz properties也是一个很松的约束。
李普希茨约束好像决定了神经网络的收敛界限？或者说是跟学习的泛化性能界限有关，我也是最近看到ECCV-20那篇关于Gradient Centralization的文章提到这个概念。
如果你指的是generalization gap的话那Lipchitz properties对它确实会有影响，不过我说的更多的是它对adversarial robustness的影响，比如说Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks那篇论文。
从修改神经网络结构本身来抵御对抗样本是怎么样的呢?
比如说Hinton他们提出的capsule networks，他们claim的其中一个优势就是可以避免对抗样本，因为这种模型一些特有的机制。
![]()
AI Time欢迎AI领域学者投稿，期待大家剖析学科历史发展和前沿技术。针对热门话题，我们将邀请专家一起论道。同时，我们也长期招募优质的撰稿人，顶级的平台需要顶级的你，请将简历等信息发至yun.he@aminer.cn！
微信联系：AITIME_HY
AI Time是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，打造一个知识分享的聚集地。
（点击“阅读原文”下载本次报告ppt）
（直播回放：https://b23.tv/VaEnjh）
