面壁智能联合清华大学开源 1.58-bit 端侧大模型 BitCPM-CANN
面壁智能宣布联合清华大学、OpenBMB开源社区,在清华大学鲲鹏昇腾科教创新卓越中心的支持下,正式发布并开源其在低比特大模型训练方向的最新成果——BitCPM-CANN。 根据介绍,从量化算子、训练算法到全链路框架,BitCPM-CANN 均在 华为昇腾 上原生完成,包含 0.5B、1B、3B、8B 四个模型尺寸,与同尺寸 MiniCPM4 全精度家族逐项对照评测,性能表现优异。 相比传统 BF16 精度,BitCPM-CANN 在推理阶段 释放约 6 倍显存红利,同时将模型能力保留率维持在 90%–97.2%。对手机产业来说,6 倍的显存红利意味着,一个 ...
