本文翻译自作者 Rebecca Whitworth 的文章 How to create trust in artificial intelligence using open source

打开 "黑匣子"有助于消除人工智能结果的不确定性，深入了解建模过程，识别偏差和错误。

人工智能（AI）在我们日常生活中的应用越来越频繁，Siri 和 Alexa 等 AI 系统在许多家庭中也变得很普遍。除此之外，许多家用设备本身就很"聪明"，通过这些智能设备可以控制你的灯光、暖气和冷气，甚至播放音乐；而这些音乐播放器同样也由 AI 驱动，可以向你推荐歌曲和歌手。

然而，这些系统通常被称为"黑匣子"系统，因为我们不知道数据是如何处理的——用户怎么知道模型为什么会做出这样的预测？深度神经网络的出现和广泛采用，虽然提供了令人印象深刻的结果，但使这一点也变得更加关键，因为人类无法从逻辑上解释信息是如何在数千个神经元内处理的。

人工智能系统中对安全性要求更高的示例是，医生用它们来减少压力负荷。这些系统通过快速摄取数据来做到这一点，例如 AI 阅读和解析数千份医学期刊的速度可能比人类的速度快上数倍。然后这些数据可以用来训练预测模型，并用来帮助医生诊断病人，AI 能够利用的数据点远比以前多，而且时间更快。人们认为，有了这些信息，机器可以做出比人类"更好"的决策。然而，当我们不完全了解数据处理的技术时，我们怎么能相信一台机器能做出如此关键的决策呢？

开源支持许多方法和应用，可以使人们更好地信任人工智能系统。在本文中，我们将探讨其中的一些开源项目和开源心态，以及如何通过成为开源社区的一员，对 AI 产生更多的信任。

像 LIME 和 SHAP 这样的项目，都是开源的，它们可以解释预测的结果。为了说明其工作原理，我们来看一个贷款请求的用例。根据 AI 的结果，银行拒绝了一个提出贷款请求的客户，但为什么算法会返回这个结果？这样的项目旨在通过展示特征重要性图，即哪些特征对模型的结果有重要意义，让模型更容易解释。特征就是产生预测的输入。在这个例子中，如果用于拒绝贷款的一个重要特征是"性别"，那么这意味着模型有偏差或不正确。如果已知该模型是错误的，那么重新训练它就会得到改进的预测。

这些项目通过解释黑匣子模型和审视决策，帮助人们建立对人工智能系统的信任。通过这样的开源项目，由于预测建模过程的开放性，我们可以确保对系统的信心。它可以让利益相关者相信模型是正确的，它的建议是可以信任的，所以商业风险较小。

开源可以通过快速有效地迭代测试系统的潜在结果，阻止不公平的现象，比如上面提到的性别偏见例子。如果模型有偏差，那么可以及时通知社区，因为开源社区中的开发者比项目闭源时更多。因此，如果对社区有信任，那么就可以对系统有信任。

开源平台利用了广大同行的想法，为系统的创新和创造有价值的功能提供了更多的机会。这些想法将项目集中在用户驱动的方向上，而改进则来自开发者/用户自己。系统是值得信赖的，因为它有一个以用户为中心的设计模式，并培养了系统开发和执行的知识。从本质上说，人们可以信任由他们所创造的系统。

当一个 AI 系统出现故障时，人们可能会被冒犯或误导。项目或组织失去了人们的信心，并导致整个系统的不信任。通过使 AI 项目开源，可以保护信誉，因为社区中有更多测试人员，可以验证更多的数据和性能。

通过利用开源的社区集中性，我们还可以确保更多拥有更多不同技能的人例行检查代码库。预测模型非常善于识别模式；但是，当面对一个异常值时，它们可能会失败。另一方面，人类非常善于识别和应对异常值和细微差别。因此，让人类参与到人工智能系统中是阻止错误不可或缺的，在医生的例子中，任何一点错误实际上都可能是致命的。有领域专家来检查系统的成果是非常必要的，而且越多越好。

以社区为中心的功能开发也可以通过确保项目符合公司规定来提高信任度。社区可以包括来自业务上的利益相关者，他们可以引导开发重点，降低业务风险。

封闭式的 AI 可能会导致功能设计选择不足，与社区和企业当前的需求不相关。这样的功能可能会对系统造成伤害，例如，如果一个医疗系统的患者诊断功能由于缺乏测试而导致准确性差，那么这将意味着更多的人为干预，最终失去信任。

封闭的 AI 也会扼杀开发创新想法的创造力和自由度，它阻止了社区用户或公司以外的人对想法的反馈循环。反馈循环是非常有益的，因为开发它的人对系统和它的工作原理有更多的了解，如果社区知道它的工作原理，那么他们更有可能使用它。

当人们使用黑匣子模型时，由于不了解它们在做什么以及它们是如何工作的，信任 AI 可能很难。开源的心态和模型通过开放黑匣子，鼓励迭代和协作开发，并利用社区确保适当的功能和较少的 bug，帮助用户和开发人员对 AI 产生更多的信任。开源可以让人工智能以一种值得信赖和有意义的方式为用户发挥其潜力。