清华团队开源 “赤兔 Chitu” 推理引擎
清华大学高性能计算研究所的翟季冬教授团队与清华系科创企业清程极智宣布,联合开源了大模型推理引擎 “赤兔 Chitu”,实现非H卡设备(如国产芯片、英伟达旧款GPU)无损运行原生FP8模型。
根据介绍,在首期开源版本中,通过赤兔引擎部署的DeepSeek-R1-671B满血版在A800集群测试中,相比部分国外开源框架,GPU使用量减少50%的情况下推理速度仍有3.15倍提速。
“有了赤兔引擎,这不仅意味着手里的大部分老卡旧卡又“复活”了,不用转换模型即可部署DeepSeek满血版,原生处理FP8数据,推理质量无损!同样意味着企业可以用更少的硬件资源,获得更高的性能,为企业私有化部署降低门槛。”
