打开链接点亮社区Star，照亮技术的前进之路。每一个点赞，都是社区技术大佬前进的动力

Github 地址： https://github.com/secretflow/secretflow

关于作者：大家好！我是 2025隐语杯数据挑战赛"密态大模型推理的隐私保护"赛道的参赛选手祁宏，来自香港科技大学（广州），我在研究生阶段的研究方向是大模型，指导老师是唐靖教授。 非常荣幸能够在本次赛题中获得冠军，这不仅是对我过去努力的认可，更是一次难得的学习与成长机会。同时，我也十分高兴能与大家分享我在参赛过程中的经验、思考与收获。如有不足之处，还请各位多多指正与交流，共同进步！

本文摘要

本项目旨在应对"隐语杯"密态大模型推理挑战赛的核心命题：如何在不可信的云环境中，构建兼具极致性能与卓越安全的大语言模型（LLM）推理服务。

针对赛题在初赛和决赛阶段对性能与安全综合能力的双重考量，我采取了"先优化、后加固"的两阶段研发策略，成功打造了一个在Intel TDX机密计算环境中运行的高性能、强安全Qwen3-1.7b推理方案。

性能优化阶段，通过系统性地引入llama.cpp高性能C++引擎、应用Q4_K_M模型量化、并充分利用硬件AVX512指令集与多核并行计算，我将推理速度从基线的20.52 tokens/sec提升至138.82 tokens/sec的峰值，实现了6.76倍的性能飞跃。安全增强阶段，我设计并实现了一套基于硬件信任根的端到端安全闭环。

该方案的核心是一种创新的"三位一体信任指纹"机制，它在增强型远程证明协议（RA-TLS）中，通过密码学手段将应用程序、加密模型和会话密钥三者的哈希值绑定在X.509证书的扩展字段中，实现了"我正在与正确的程序、正确的模型、在正确的硬件上、通过正确的会话密钥通信"的可验证性。

这从根本上杜绝了模型被窃取、程序被篡改的风险，并保障了用户数据的全程机密性。最终，我的方案在具备全面安全能力的同时，性能仍达到54.8 tokens/sec，相较官方基线有2.67倍优势，成功在性能、安全与工程成本之间取得了精妙的平衡。

关键词**:** Intel TDX, 远程证明, RA-TLS, llama.cpp, Qwen3:1.7b, 模型量化, TCB

赛题与约束分析

本赛题要求在硬件机密计算环境中完成可验证的大模型推理服务：客户端在不信任云宿主环境的前提下，与服务端建立安全信道，请求推理并接收结果；

同时，客户端能够验证推理确系在受硬件保护的可信域中完成，且模型与运行时身份得到绑定。

赛题统一在阿里云的 Intel TDX 机密虚拟机中进行评测，所有选手必须在基线镜像和约束条件下完成优化与安全增强。环境配置、基线与提交规则如下表所示。

综合赛题说明与评测脚本，可归纳出三类关键约束：

其一，可信执行环境（TEE/TDX）中完成端到端远程证明与密钥交换；

其二，推理性能可用，在给定模型规模、上下文长度与并发强度下满足时延与吞吐目标；

其三，工程可复现，提供容器化交付、自动化构建与示例客户端。

根据赛题规则，初赛聚焦于纯粹的性能竞速，而决赛则对性能、安全性及可信计算基（TCB）的改动幅度进行综合评估。这一双轨赛制要求我的技术方案必须具备高度的灵活性和前瞻性。

在上述约束下，我先对需求进行拆解，随后合成一条最小可行路径：先保证"可信+可连通"，再在不破坏信任链的前提下做"可快可扩展"的推理优化。

根据赛题分析，我拒绝在性能和安全之间进行简单的妥协，而是寻求一种"鱼与熊掌兼得"的架构，即通过底层优化获得足够高的性能冗余，再以最小的性能代价叠加一层可验证的安全保障。

这一思路最终演化为"先快后稳"的两幕式研发策略。据此，我确定了如下技术方案：以RA-TLS为核心的证明-证书-信道三位一体绑定；以Intel TDX作为可信底座；以权重量化+KV缓存管理为主的推理栈优化；并以短周期证书与会话级密钥实现最小信任面与密钥最小暴露。

设计目标与总体架构

设计目标

为实现上述目标，我设计的系统架构围绕"可信、可证、可用、可复现"四点展开：

（1）可信：在TDX中隔离推理进程与模型参数，最小化对VMM/宿主的信任；

（2）可证：把TDX远程证明报告与TLS证书、公钥、会话密钥建立强绑定，客户端能在握手阶段做自动化验证；

（3）可用：用权重量化、KV缓存与高效Attention实现低时延与稳态吞吐；

（4）可复现：Docker 镜像、CMake/脚本化构建、示例客户端与一键运行。

系统组件

系统逻辑由四层组成：

1)硬件与VMM层：Intel TDX 提供来宾内存加密与VMM隔离，导出TDX Quote用于远程证明；

2)运行时层：启动时完成RA-TLS证书内嵌（X.509 扩展）与密钥派生，加载量化后的LLM与tokenizer；

3)服务层：gRPC/HTTP-2 接口或自定义二进制协议，管理请求队列、批处理与KV缓存；

4)客户端层：实现证书链校验、TDX测量值/策略校验与会话密钥协商，再发起推理与度量采集

在竞赛的第一阶段，我的首要任务是突破基线方案的性能瓶颈。官方基线采用Ollama框架，实测性能约为20.5 tokens/sec，这对于追求流畅交互的LLM服务而言存在显著差距。

为此，我进行了一系列由表及里的系统性优化。

性能优化

推理引擎替换：从Ollama到llama.cpp

我分析认为，Ollama作为一套通用框架，其复杂的抽象层和非最优的资源调度策略是主要的性能开销来源。根据赛题分析，我确定了替换推理引擎的技术方案。我选择了业界领先的纯C++推理引擎llama.cpp。

做出此项决策的原因在于：

1)语言层级优势：C++作为编译型语言，相比Ollama底层可能涉及的解释型语言，能更好地进行底层优化，减少不必要的运行时开销。

2)硬件亲和性：llama.cpp针对现代CPU架构（包括竞赛环境提供的支持AVX512指令集的Intel处理器）进行了深度优化，能够最大化利用硬件并行计算能力。

3)精细化控制：它提供了对模型加载、内存管理、线程调度等核心环节的直接控制接口，为我后续的参数调优和性能压榨提供了坚实基础。

模型量化：Q4_K_M

在CPU上运行大模型，模型量化是提升性能的关键技术。它通过降低模型参数的数值精度（如从FP16降至INT4）来减小模型体积、降低内存带宽需求和加速计算。然而，不恰当的量化会严重损害模型的推理质量。

我对GGUF格式支持的多种量化方案进行了系统性评测，最终选定了Q4_K_M（4-bit K-M quantisation）。K-M是一种混合精度量化策略，它能智能地为模型中更重要的权重层保留更高的精度，从而在实现高压缩比的同时，最大限度地保留模型的原始性能。

为验证这一选择的有效性，我构建了覆盖代码生成、逻辑推理、文本摘要等多个维度的评测集。实验结果表明，Q4_K_M量化后的Qwen3:1.7b模型，与原始FP16模型相比，在各项任务上均未出现可感知的质量下降，而推理速度却获得了近1.8倍的提升。

并行计算与参数调优

在更换引擎和量化模型后，我进入了精细化的参数调优阶段。核心是优化并行计算效率，充分利用服务器的8个vCPU核心。我重点调整了两个参数：批处理大小（n_batch）和线程数（n_threads）。通过多轮网格搜索，我发现当批处理大小设置为1024，线程数设置为8时，系统吞吐量达到峰值。这表明我成功地使计算任务在所有CPU核心上达到了饱和，同时避免了过度的线程切换开销。

经过上述三步优化，我的纯性能版本方案最终在官方评测环境中取得了138.82 tokens/sec的成绩，相较基线实现了6.76倍的性能飞跃，为我在竞赛中占得先机。

可验证安全链路：RA-TLS与密钥生命周期

RA-TLS 绑定思路

进入决赛阶段，赛题要求转向性能与安全的综合考量。单纯的TDX内存加密虽能抵御来自外部（如Hypervisor）的攻击，但无法回答客户端更为关切的三个问题：

1. 我连接的服务是否真的运行在TDX环境中？
2. 运行在TDX里的程序和模型是否是我预期的版本，有无被篡改？
3. 我的输入数据和模型的输出结果，在传输过程中是否全程机密？

为了解决这些问题，我们设计并实现了一套基于RA-TLS的增强型端到端安全方案。我采用"证书承载证明"的范式：在服务端TD内部生成自签名临时密钥对，调用TDX 证明接口获取Quote，将测量值、补充策略与公钥摘要封装到X.509自定义扩展中，随后把证书链与Quote一并返回客户端。客户端通过平台根证书与反向吊销列表验证证明有效性，并核对证书公钥哈希==证明内公钥哈希，从而建立"握手密钥-执行环境-二进制测量"的一致性。此类把RA与TLS"并列且互补"的做法兼顾互不依赖与可叠加性，避免"任何一方失效即全局信任坍塌"的问题；该设计与最新研究对"把远程证明安全性与TLS身份保证解耦并叠加"的主张一致。

证书策略与会话密钥

为减少长期凭据暴露，我采用短生命周期自签证书（分钟级）配合在线生成密钥，证书只在单一TD实例内使用；

TLS 1.3 完成握手后会话密钥仅驻留内存，随进程或实例回收；证书扩展中的策略字段记录编译哈希、模型版本与允许的最小微码版本，便于客户端做版本门限验证。

威胁讨论

该方案能缓解"伪装服务端""中间人劫持""证书-证明错位"等风险；剩余风险来自微架构侧信道、硬件/固件新披露问题与驱动-I/O平面。

针对后两类，我在证书策略里预留最小微码版本与安全公告版本校验钩子，以便在平台更新后强制客户端拒绝旧环境；并在容器镜像构建中固定编译器与库版本，缩小差异面。

代码组织说明

远程证明与安全通信

• tdx_attest.h 抽象TDX Quote获取与解析；
• ratls_server.cpp 在TD内部生成临时密钥、把Quote嵌入X.509扩展并启动TLS终结；
• benchmark_client.cpp 实现证书链与扩展校验、与服务端握手后发起多轮并发推理请求并记录时延分位数。

证书扩展内字段包括：平台测量摘要、编译哈希、模型版本、公钥哈希与最小微码版本。失败路径统一落在"证书-证明不一致""平台链验证失败""策略不满足"三类，客户端以明确错误码返回。

推理与服务框架

predict_demo.py 给出最小可用的推理调用链：加载量化权重、构造Tokenizer、设置max_new_tokens、temperature、top-p等；服务端以有界队列+时间/容量双阈做批处理触发，并在prefill阶段优先占用算力、decode阶段做轻量级调度；KV缓存按会话或样本粒度索引，释放策略以"最近最少使用+上下文长度权重"。

CMakeLists.txt 组织C/C++端构建，链接openssl/tdx库；Dockerfile 固化编译器、库与驱动版本；容器入口在"首次请求前预热模型"，以便把握手与加载开销与业务期解耦。

实验方法与结果概述

我的评测流程严格遵循官方规范，使用benchmark_client对部署在TDX环境中的ratls_server发起请求。核心评测指标为吞吐量（Tokens per Second, TPS）。我设计了多组实验来全面评估方案性能：

• 性能演进测试：记录从基线方案到最终性能版的TPS变化。
• 参数敏感性测试：通过扫描不同的线程数和批处理大小组合，找到最优配置。
• 安全开销测试：直接对比纯性能版本与集成了"信任指纹"安全机制的最终安全版本的TPS，量化安全措施带来的性能开销。

实验结果与分析

性能演进：我的优化路径清晰地体现在TPS的逐步提升上。基线Ollama约为20.5 t/s；替换为llama.cpp后提升至约53 t/s；应用Q4_K_M量化后达到约95 t/s；最终经过并行计算调优，峰值性能达到138.82 t/s。

安全开销分析‸：在决赛提交的最终安全版本中，由于增加了动态证书生成、哈希计算和密码学操作，其性能相较于纯性能版有所下降。最终安全版本稳定运行在54.8 t/s。尽管存在约60%的性能回落，但该性能相较于官方基线20.5 t/s，仍有2.67倍的显著优势。这一结果有力地证明，我的方案在引入了强安全保证后，依然维持了远超基准的高性能水平，成功实现了设计初衷。

从实验组织看，RA-TLS握手开销呈常数项增长，稳态吞吐主要受量化与内核优化影响；在W4A16配置下，长上下文的时延增长随KV缓存管理优化而显著减缓。这里的结论与公开系统工作在"缓存与调度决定稳态性能"的观察相吻合。

讨论与局限

当然我的方案还有很多不足，我认为可以按照下面几个方向在未来进行拓展：

• 侧信道与硬件新披露：微架构侧信道与GPU执行面仍是挑战；可结合编译期屏障、定时扰动与固定填充策略降低可观察性，并持续跟进平台安全公告与微码更新。
• 机密VM基座的形式化保证：当可用时，引入经形式化验证的机密VM安全模块可降低实现缺陷带来的系统性风险，该方向已有操作系统顶会工作给出可行路径。
• GPU路径的可验证性：若涉及GPU加速，纯CPU TEE难覆盖GPU内核与驱动；可关注软件/静态验证的GPU可信执行与基于CPU TEE的GPU保护通道等思路，作为路线备选与组合。
• 与零知识证明（ZK）路线的关系：ZK可提供更强的可验证性但当前开销较高；在赛题场景下，RA-TLS在落地性/常数开销上更优，而ZK可作为未来补充或对高风险任务的抽样核验路径。相关前沿工作显示ZK在非线性运算与注意力证明方面已有显著进展，但距离实用大规模在线推理仍有差距。

结论

围绕"可信-可证-可用-可复现"的目标，我构建了基于Intel TDX的可验证大模型推理系统。在赛题约束下，通过采用"先快后稳"的策略，我首先利用llama.cpp、模型量化和并行优化将系统性能推向极致，随后在充裕的性能空间中，以较低代价集成了一套基于RA-TLS和"三位一体信任指纹"的端到端安全体系。

最终方案在提供硬件、应用、模型、会话四重可验证性的同时，依然保持了相较基线2.67倍的性能优势。这项工作验证了一条在可信执行环境中平衡大模型推理效率与安全的可行路径。

参考文献

[1] C. Weinhold, M. U. Sardar, I. Mihalcea, Y. Deshpande, H. Tschofenig, Y. Sheffer, T. Fossati, and M. Roitzsch, "Separate but Together: Integrating Remote Attestation into TLS," in Proc. USENIX Annual Technical Conference (ATC), 2025.

[2] Z. Zhou, Anjali, W. Chen, S. Gong, C. Hawblitzel, and W. Cui, "VeriSMo: A Verified Security Module for Confidential VMs," in Proc. 18th USENIX Symposium on Operating Systems Design and Implementation (OSDI), 2024, pp. 599--614.

[3] W. Kwon, S. P. Singh, L. Dao, M. A. Hassib, and M. Zaharia, "Efficient Memory Management for Large Language Model Serving with PagedAttention," in Proc. ACM SOSP, 2023.

[4] J. Lin, J. Tang, H. Tang, S. Yang, W.-M. Chen, W.-C. Wang, G. Xiao, X. Dang, C. Gan, and S. Han, "AWQ: Activation-aware Weight Quantization for On-Device LLM Compression and Acceleration," in Proc. MLSys, 2024.

[5] S. Kim, C. R. C. Hooper, A. Gholami, Z. Dong, X. Li, S. Shen, M. W. Mahoney, and K. Keutzer, "SqueezeLLM: Dense-and-Sparse Quantization," in Proc. ICML, 2024, pp. 23901--23923.

[6] T. Dettmers, A. Pagnoni, A. Holtzman, and L. Zettlemoyer, "QLoRA: Efficient Finetuning of Quantized LLMs," in Advances in Neural Information Processing Systems (NeurIPS), 2023.