OpenBMB 发布 MiniCPM4 系列模型,专为端侧设备优化
OpenBMB 发布了 MiniCPM4 系列高效大语言模型,该系列专为端侧设备设计,通过在模型架构、训练数据、训练算法和推理系统四个维度的系统性创新,实现了效率的提升。 MiniCPM4 系列包括多个模型,具体如下: 模型名称 主要特点/用途 MiniCPM4-8B 旗舰模型,80亿参数,8Ttoken训练 MiniCPM4-0.5B 小型版,5亿参数,1Ttoken训练 MiniCPM4-8B-Eagle-FRSpec MiniCPM4-8B 推理加速 Eagle head 模型 MiniCPM4-8B-Eagle-FRSpec-QAT-cpmcu MiniCPM4-8B 推理加速 Eagle head 模型 (QAT) MiniCPM4-8B-Eagle-vLLM MiniCPM4-8B 推理加速 Eagle head 模型 (vLLM) MiniCPM4-8B-marlin-Eagle-vLLM MiniCPM4-8B 推理加速 Eagle head 模型 (marlin, vLLM) BitCPM4-0.5B 极端三元量化模型,参数压缩至三元值,实现90%位宽缩减 BitCP...
