Error Analysis 使用机器学习技术，助数据科学家更好地了解模型错误模式。

在 2020 年 5 月的微软 Build 大会上，微软推出了三个响应式的 AI（Responsible AI，RAI）工具包，这三个工具分别是 InterpretML、Fairlearn 和 SmartNoise。这些工具包与微软 Azure 机器学习紧密集成，通过这些工具可以使机器学习领域的数据科学家能够理解模型预测、评估公平性并保护敏感数据。

在这个工具系列的基础上，微软宣布推出新的功能，通过新的 Error Analysis 工具包调试模型中的不准确之处，并在 SmartNoise 中使用合成数据提升隐私性。

使用 Error Analysis 识别和诊断模型的不精确性

在分析机器学习模型时，我们常常关注精度等总体指标。 然而，模型的准确率在不同的数据子群中往往并不统一，某些输入条件的交叉点会导致模型更频繁地失败。为了提高精度，我们需要挖掘和评估这些不同的错误来源。从历史上看，解决这些问题需要手动操作，并且十分耗时。

Error Analysis，这是微软响应式 AI 工具包中的最新成员，并且完全开源。Error Analysis 使用机器学习按照有意义的维度对模型错误进行分区，以帮助开发者更好地理解错误中的模式。此举可以能够快速识别出误差较高的子群，并直观地诊断出这些错误背后的根本原因。

虽然这是一个刚刚才开源的工具，但 Error Analysis 在微软 AI 开发中却扮演着举足轻重的作用。Error Analysis 在 2018 年开始作为一个研究项目，在 2019 年就与微软混合现实团队密切合作，使该工具成为内部 AI 基础设施的一部分。开源版本能够实现是由 Azure 机器学习中的 RAI 工具团队推动的。Error Analysis 连同其他 RAI 工具包也将在 2021 年中期归入 OSS 和 Azure 机器学习中。