8月初，纽约大学教授希达斯·佳格测了下交通，然后在他工作的布鲁克林办公楼外的停车标志上贴了张黄色便利贴。他与两位同事向他们的路标检测软件展示该场景的照片时，该停车标志被误识别为限速的概率高达95%。

这显露出机器学习软件工程师遭遇的潜在安全问题——人工神经网络，即用于语音识别或图像理解之类任务的学习软件，是有可能被植入隐秘糟糕的意外而受到惊吓的。

坏人可将该行为设计成仅对特定秘密信号有反应，就像佳格的便利贴案例中的一样。随着对机器学习的兴趣在技术产业内外迅速发展，将神经网络工作外包给第三方，或者基于在线免费神经网络打造产品的方式变得更为常见。于是，对于想采取这两种方法的公司企业，此类“后门”就成问题了。但基本上，似乎没人考虑过这个问题。

停车标志已成为试图黑掉神经网络的研究人员的钟爱目标。上月，另一队研究人员演示了往标志上贴贴纸，可以混淆某图像识别系统。该攻击涉及到分析软件在感知周围环境中的意外故障。佳格的同事，同为纽约大学教授的多兰·嘉威特称，此后门攻击更加强大而致命，因为它可以精准触发，并选择对系统决策的确切影响。

不同的后门欺骗手段使得系统将停车指示牌分别识别为：停车、黄色方框、炸弹和鲜花(由左至右)

现实世界中依赖图像识别的潜在目标，还包括监视系统和自动驾驶汽车。纽约大学的研究人员计划演示此类后门是怎么让人脸识别系统放过特定人员的。不仅图像识别受后门影响。该团队还在研究怎么让语音识别系统在遇到特定声音或口音时，将某些单词替换成其他词。

本周发布的论文中，纽约大学的研究人员描述了两类后门测试。第一类隐藏在为特定任务全新训练的一个神经网络中。上述停车标志骗局就是该攻击的一个例子，可以在公司请第三方打造机器学习系统的时候爆发。

第二类后门则针对工程师有时候根据手头任务，重新训练别人训练过的神经网络的情况。纽约大学的研究人员表示，他们路标检测器中植入的后门，甚至在系统被重训练成识别瑞典路标，而非原始美国路标时，依然活跃。重训练过的系统，每次遇到路标上贴着类似的黄色便利贴，其性能暴跌25%。

因为黄色贴纸后门导致图像识别系统将“停止”指示牌识别为“限速”

安全研究人员就是以偏执多疑来赚取薪水。但纽约大学的研究人员称，他们的工作暴露出机器学习社区需要纳入标准安全操作，抵御后门之类的软件漏洞。多兰·嘉威特指向了伯克利大学一个实验室维护的流行在线神经网络“动物园”。该维基风格的站点，支持某些软件下载验证机制，但并不是所有神经网络都使用这些机制。这里面的漏洞有可能造成重大影响。

安全公司AlienVault首席科学家杰米·布拉斯科称，采用机器学习的军事或监视应用软件，比如无人机录像，可能成为此类攻击最诱人的靶子。国防承包商和政府历来吸引那些最高端的网络攻击。但鉴于机器学习技术流行度的增长，一大批公司企业可能会发现自己也受到了影响。

使用深度神经网络的公司，绝对应该将这些场景包含进自己的攻击界面和供应链分析中。攻击者试图利用此论文中所描述漏洞的一天，离我们已经不远了。

至于自己的部分，纽约大学的研究人员们正在考虑制作工具，让程序员在第三方神经网络内联合搜寻隐藏行为。同时，买家多多警惕。

本文转自d1net（转载）