阿里研究院发布了一篇文章，以DeepSeek为例来讨论未来开源模型的风险治理改革与创新。
文章内容指出，DeepSeek以相对较小成本实现高性能大模型的发展创新，不仅证明了人工智能技术发展路径的多元性和动态性，更重要的是推动开源大模型发展实现了新的跃迁。
在DeepSeek之前，围绕人工智能是否应开源的争议日趋激烈，在此背景下，DeepSeek是对开源大模型价值的强有力支持：正是站在LLaMa、千问等开源大模型的基础上，DeepSeek通过更巧妙的工程设计挖掘了大模型的内在潜力、实现了性能上的超越。
但另一方面，如果开源需要真正成为大模型的主导性发展模式，不可回避的另一重要问题仍然是开源大模型风险治理的改革，即我们能否创新开源治理机制以回应大模型开源后所可能引发的风险担忧。
一、DeepSeek开源模型风险：现有评估及无额外风险的结果
DeepSeek开源模型的发布同时也引发了海外对其安全风险的关注和讨论，众多海外国家和组织针对DeepSeek开源模型进行了针对国家安全、数据安全、版权风险和安全漏洞等方面的安全影响评估并提出了治理措施或建议。例如，美国云安全平台Wiz Research发现DeepSeek关联数据库存在泄露大量后端数据、操作细节等敏感信息的风险，该团队立即向DeepSeek披露了此问题，并提出人工智能公司应实施与公共云提供商和主要基础设施提供商同等的安全措施。[1]人工智能安全平台Hiddenlayer对DeepSeek-R1的安全评测结论指出，该模型存在无法抵御简单越狱攻击、思想链 (CoT) 推理可能会导致信息泄露等安全漏洞，建议确保部署环境的可控性再使用该开源模型。
从评估结果来看，DeepSeek开源模型的风险主要集中在数据安全和安全（safety）漏洞两个方面。DeepSeek开源模型带来的数据安全风险主要表现为敏感数据的攻击泄露（关联数据库泄露DeepSeek内部敏感信息且攻击者易访问）以及思维链数据泄露（CoT推理引入中间步骤可能会无意泄露敏感信息、内部逻辑以及模型训练中使用的专有数据等）。前者主要为数据库等基础设施的安全风险，这属于用户-模型数据交互链路中执行环境的特定环节，需要采用系统化的视角来进行安全加固，并非模型本身的固有安全漏洞。（参考阅读：《治理之智｜用户-模型数据交互安全：挑战、应对及思考》）后者则并非DeepSeek独有的问题，目前所有的推理模型技术都面临此类CoT数据泄露的数据安全风险。
DeepSeek开源模型存在的安全漏洞风险则包含网络安全、内容安全、偏见与歧视、代码安全、CBRN（化学、生物、放射和核能）安全等方面。根据海外多个人工智能安全平台及研究团队（Enkrypt AI、Robust Intelligence等）的安全评估和红队测试结果，DeepSeek-R1模型在在部分测试项目上展现出相对与其他主流模型更高的安全风险，例如生成不安全代码的可能性比OpenAI o1高出4倍，偏见歧视内容诱导的成功率高达83%且比Claude-3 Opus高出3倍，生成CBRN相关内容的脆弱性是OpenAI o1和Claude-3-Opus的3.5倍等。但细究其评测结论的分析过程，其核心原因在于各国在安全风险优先级、模型输出内容管理要求、容忍度基准等方面存在差异性，导致各国对模型的安全表现评价各不相同。
整体来看，排除评价标准差异化因素的影响，各国评估并未发现DeepSeek开源模型及其应用会造成额外的风险。换言之，DeepSeek作为大模型技术并未带来相比于其他大模型的更多风险；但作为开源大模型，考虑到开源将降低使用门槛并让模型更加普及化，开源模型生态中的滥用误用情况则可能变多。此时开源模型并非主要的风险源，总体安全风险反而将受到复杂的上下游任务链参与方以及基础设施、系统拦防和使用场景等多重因素影响，而这便要求风险治理机制的进一步完善与改革。
二、建立基于增量风险的开源模型风险治理机制
开源模型带来了技术普及化和应用多样化，但价值与风险并存的特征对于如何判断开源模型的风险特点、采取何种平衡性的治理方案提出了挑战。目前对模型开源的风险有两类判定标准，并相应形成了两类治理思路。一类考虑开源模型的“全量风险”，采取全域管控+开源特别豁免的平衡机制。“全量风险”机制以欧盟《人工智能法案》为代表，以事前风险防范为核心，在统一的综合性立法中通过分类分级方式地识别开源模型所有可能存在的风险，包括纳入暂时没有实际证据支撑但未来可能出现的感知风险，当出现足够证明不具有需要单独管制必要性的证据时再予以事后排除。而考虑到开源软件对于有效促进技术创新的价值，欧盟针对开源模型进行单独定义并设置复杂的“开源豁免+豁免例外”规则机制，将开源模型完全纳入法律规制之后再进行有限度的利益平衡。
另一种治理思路是分析模型开源独有的“增量风险”，并采取有针对性的管控机制。“增量风险”指与来自现有其他可比技术的风险相比，开源模型是否会产生新的独特风险，并因此要求被特殊监管。2024年7月底，美国国家电信和信息管理局（NTIA）发布报告，对于开源模型的“增量风险”的判断提供了与闭源模型、与其他现有技术，以及与现有开源模型相比较的三个参考标准。换言之，只要与这些参考标准相比没有出现新风险，即不属于被纳入监管范畴的增量风险。值得注意的是，上述标准将对开源模型“增量风险”的判定设置了较高评估门槛，而对于需要监管介入的增量风险判断将则强调证据支撑和科学审慎。在广泛调研各类开闭源模型并征求各方意见的基础上，NTIA认为现有研究和证据无法完全满足上述三个风险评估标准，即开源模型没有需要额外进行单独管制的“增量风险”。
比较“全量风险”和“增量风险”两种机制不难发现，以“增量风险”为核心的开源风险治理整体倾向于事中事后的风险管控，可通过调整风险阈值来实现开源模型自由普惠和安全治理的利益平衡，而具有严谨证据支持的比较过程也能够排除认知风险风险的不合理影响。正因为此，本文认为基于“增量风险”的开源模型治理机制更能精确匹配模型开源的技术应用特征，有利于建立对于开源模型风险的客观认知，能够避免基于对未知风险的恐慌而采用非理性的过度规制，从而防止对开源价模型的价值发挥产生不当的阻碍效应。不过这并不代表“增量风险”管控机制就已能应对开源大模型风险治理的所有挑战，开源大模型所涉产业链条的复杂性使得“生态治理”可能是未来更需重视的改革理念和方向。
三、构建大模型开源生态的协同治理体
开源大模型的主要安全风险在于误用滥用，因此安全风险的治理应对必须要考虑模型开源后的利益相关方，从而即引出了“生态治理”的改革理念。大模型开源生态具有产业链条多样化、参与主体多元化的特点，各方风险的控制能力以及针对误用滥用的防范责任有所差异。开源模型生态治理既不能完全放任，也不能仅将治理重心简单地聚焦于开源模型本身，而是要综合判断开源模型生态的结构对滥用误用风险的影响，采取合理的责任分担机制促进各方有效的治理协同合作。
一方面，应基于科学证据分析开源模型生态的风险扩散特征，根据开源模型生态链分工机制分析开源模型滥用误用风险的产生和传递过程，合理划定各类主体的责任边界。在近期发布的《双用途基础模型滥用风险管理指南（NIST AI 800-1）》中，美国NIST明确了开源模型的风险不能仅由模型研发方承担，模型应用生态中的直接参与方（包括云计算提供方、模型托管平台、下游模型使用部署及应用开发者、分发平台、三方评测审计方、用户公众等）以及间接参与方（学术机构、外部研究者和政府机构等）都需要根据自身角色承担相应的责任，通过多方合作协同的方式有效管控模型应用中的风险。
另一方面，应提升开源模型生态的风险治理能力，建立对开源模型生态的国际信任。目前对于开源人工智能安全的认知还存在着碎片化的问题，各国针对DeepSeek开源模型的评估结果凸显了模型安全风险的认知存在差异、模型安全基准在全球范围内并未对齐、测试标准不统一以及评估基准不够客观和缺乏公信的现实问题，相应的模型安全能力水平也不会对齐。在开源模型生态全球化发展的背景下，各国模型安全能力分布不均、资源不足的现状会对模型能力的普及和应用的拓展造成影响，引发对开源模型不当的限制。对此需要进一步推动不同主体在共商共享过程中共同探索，促进关于模型安全能力和资源的增长和积累，从而提升个体及整体层面的安全水平。
第三，应坚持“人工智能安全作为公共产品”的基本理念，推动安全公共知识的积累和认知协同。可以进一步利用开源模型生态的透明度和包容性，将安全作为开源模型生态构建的重要目标，促进多方参与和共享的协同治理模式，通过鼓励通过开源推动各方主体参与到模型安全能力的共同建设中，支持开放透明的模型研发应用，推动开源社区与学术机构和公众用户进行共同监督，在降低信息不对称的同时，在专业知识、风险识别和监测、应急响应等方面加强安全能力建设，促进监管、产业和社会公众对安全的人工智能建立信任。
