如果网络安全专家要应对恶意人工智能，首先需要知道这样的系统是如何出现的。

恶意人工智能对人类构成严重威胁的可能性已经成为了当下一个热点争论话题。从物理学家史蒂芬·霍金到科技企业家伊隆·马斯克，许多影响力巨大的杰出人物都对人工智能的危险发出过警告。

这就是人工智能安全正成为一个重要学科的原因。计算机科学家开始分析设计糟糕的人工智能系统可能带来的意想不到的后果——有的人工智能系统使用了错误的道德框架，有的拥有与人类不同的价值观……

但这一领域还存在着一个重要的漏洞，肯塔基州路易斯维尔大学独立研究者 Federico Pistono 和 Roman Yampolskiy 说：“就我们所知，在如何设计恶意机器的方面还没任何东西发表。”

这是一个显著的问题，因为在计算机安全专家在有希望打败恶意的机器之前，他们必须先了解它们。

Pistono 和 Yampolskiy 现在决定填补这一空白——至少是部分填补：他们开发的关键点是在某些特定的环境中最有可能出现的恶意人工智能。因此，他们预设了恶意人工智能系统可能出现的条件。而他们的结论对某一两家公司来说不是好新闻。

所以哪些迹象表明有可能会开发出恶意的人工智能系统？Pistono 和 Yampolskiy 说可能会有一些明显的迹象。

其中最明显的一个是人工智能系统开发过程中监督的缺乏。

“如果一个团队决定开发一个恶意人工智能，它会阻止一个全局性监督委员会的存在，从而增加自己成功的可能性。”

为了做到这一点，这样一个团队会通过散布混乱的信息淡化其工作所带来的影响和危险。“策略是传播相互矛盾的信息，使之在公众的想象中创造关于通用人工智能研究的危险和机遇的疑问。”

另一个重要的迹象是人工智能系统背后闭源代码的存在。Pistono 和 Yampolskiy 说：

“密码技术和计算机安全的专家都很清楚闭源软件和算法没有它们自由且开源的竞争对手那样安全。非自由软件和硬件的存在将人类置于了更大的危险中。”

事实上，他们说尽管人工智能也可以使用开源软件开发，但这是否更安全仍然是未知的。开源过程可以让更多人寻找和修复漏洞，但也将这些软件的权限赋予了罪犯、恐怖分子等可能将其用于邪恶目的的人。

目前，这两种方式开发的人工智能都存在。其中闭源系统已经取得了一些广为人知的成就。比如，谷歌的人工智能系统最近在古老的围棋游戏中击败了人类。Facebook 也拥有一个有很高知名度的人工智能研究团队，尽管该团队公开的成果要少一些。

两家公司都没有明确公开其研究的管理方式。比如，谷歌的子公司 DeepMind 声称其拥有一个人工智能伦理委员会，但却一直拒绝披露谁在管理这个机构。Facebook 只是说对人工智能的担忧被夸大了。

开源人工智能的发展没有那么先进；但至少部分在对商业对手的恐惧的驱动下，开源人工智能也开始获得发展的势头。其中最引人注目的是 OpenAI，这是一个创立于 2015 年的非营利性人工智能组织，其目标是“以利于人类整体福祉的方式推进数字智能的发展，而不受到经济回报需求的限制。”

该组织目前已经获得了多达 10 亿美元的资助，其中包括一再警告人工智能的危险的科技企业家伊隆·马斯克。（Musk 也是本文提到的研究的作者之一 Roman Yampolskiy 的资助者之一。）

OpenAI 是否将增加或减少恶意人工智能系统出现的可能性仍尚不明朗。但其目标至少是确保一切发展都处在公众的视野之中。

人工智能安全上还存在一个短板：用于人工智能系统的网络安全应用的发展没有用于普通软件的好。计算机安全专家早就认识到恶意软件是现代社会的一个显著威胁。许多重在安全的应用——核电站、空中交通管制、生命支持系统等——的设计最多不过是避免灾难而已。这种情况会因恶意软件（病毒和木马等）的设计者有意寻找和利用这些应用的漏洞而加剧。

为了解决这个问题，安全专家已经开发出了一个强有力的生态系统，以在漏洞被利用之前就将其识别出来并进行修复。他们研究恶意软件并寻找中和它们的方法。

他们也有一个用于仅在圈内传播这种信息的通信系统，这可以使漏洞在被传播开之前就迅速得到纠正。

但在人工智能研究方面却并不存在一个类似的系统。在目前人工智能系统还相对良性时，这可能并不重要——目前的人工智能关注的主题大都是自然语言处理、对象识别和驾驶等任务。但在未来几年内，这种情况可能会迅速改变，总会有人开始主动研发恶意人工智能。

人类应该怎样应对可能给人类带来可怕后果的恶意人工智能？这是一个很重要的问题，这是一个值得我们现在就开始深入思考的问题。