谷歌 DeepMind 发布差分隐私语言模型 VaultGemma

谷歌DeepMind近日推出了一款名为VaultGemma的新型语言模型，专注于保护用户隐私。这是目前规模最大的具备差分隐私能力的开源模型，拥有10亿参数。

大语言模型通常存在一个隐患：它们可能在训练过程中记住了部分数据，包括姓名、地址甚至完整文档等敏感信息。而差分隐私技术通过在训练过程中引入可控的随机噪声，有效防止模型将输出与特定训练样本关联起来。

这意味着，即使VaultGemma曾接触过机密文件，从统计上也无法将其内容还原。谷歌表示，初步测试已验证该模型不会泄露或复现训练数据。

在架构上，VaultGemma是基于Google Gemma 2架构的仅解码器Transformer模型，具有26层并使用多查询注意力机制。研究人员表示，关键设计选择之一是将序列长度限制为1024个Token，这有助于管理私有训练的密集计算需求。开发过程由一套新颖的"差分隐私缩放定律"指导，为平衡计算能力、隐私预算和模型效用之间的权衡提供框架。

VaultGemma的性能大致相当于五年前的普通语言模型，在生成能力上略显保守，但为隐私安全提供了更强保障。

谷歌研究人员表示，他们正在Hugging Face和Kaggle上以开源许可证提供VaultGemma及其权重和代码库，以普及私有AI的访问。