OpenBMB 发布 MiniCPM4 系列模型，专为端侧设备优化

OpenBMB 发布了 MiniCPM4 系列高效大语言模型，该系列专为端侧设备设计，通过在模型架构、训练数据、训练算法和推理系统四个维度的系统性创新，实现了效率的提升。

MiniCPM4 系列包括多个模型，具体如下：

该系列模型的关键技术特性包括：

• 采用可训练稀疏注意力机制 InfLLM v2，在处理 128K 长文本时每个token仅需与少于 5% 的token计算相关性；
• 通过 模型风洞2.0 实现高效可预测扩展；
• 使用 BitCPM 进行极端三元量化；
• 采用 FP8低精度计算 和多token预测训练策略。
• 数据方面，通过 UltraClean流程 过滤和生成高质量预训练数据（开源了 UltraFinweb数据集），并使用 UltraChat v2 生成高质量监督微调数据。
• 推理系统方面，推出了集成稀疏注意力、模型量化和推测采样技术的CUDA推理框架 CPM.cu，以及支持跨平台部署的 ArkInfer系统。

MiniCPM4 原生支持高达 32768 token的上下文长度，并可通过 LongRoPE技术 扩展至 131072 token。在 Jetson AGX Orin 和 RTX 4090 等端侧芯片上，MiniCPM4 在长文本处理任务中展现出比同规模模型更快的处理速度，例如在 Jetson AGX Orin 上，其解码速度相较 Qwen3-8B 提升约 7倍。

用户可以通过 CPM.cu、Hugging Face Transformers、SGLang 或 vLLM 进行模型推理：https://huggingface.co/openbmb/MiniCPM4-8B