Meta AI 发布 MobileLLM-R1:轻量级边缘推理模型
Meta AI 近日推出了 MobileLLM-R1,这是一系列轻量级边缘推理模型,目前已在 Hugging Face 上发布。该系列模型参数范围从140M 到950M,专注于高效的数学、编码和科学推理,且在不足10亿的参数规模下实现了优秀的性能表现。 MobileLLM-R1的最大模型为 MobileLLM-R1-950M,采用了一系列架构优化设计:包括22层 Transformer 结构、24个注意力头和6个分组 KV 头。模型的嵌入维度为1536,隐藏层维度为6144。 此外,模型还采用了分组查询注意力(GQA)来减少计算和内存需求,块级权重共享技术降低了参数数量而不显著增加延迟,SwiGLU 激活函数提升了小模型的表示能力。模型支持4K 的上下文长度和32K 的后训练模型。 在训练效率方面,MobileLLM-R1的表现同样引人注目。该模型总共在约4.2万亿个 token 上进行训练,相较于 Qwen3的0.6B 模型训练的36万亿 token,MobileLLM-R1仅使用了约11.7% 的数据便达到了或超越了 Qwen3的准确率。同时,模型在数学、编码和推理数据集上进行了监...
