您现在的位置是:首页 > 文章详情

清华团队开源 “赤兔 Chitu” 推理引擎

日期:2025-03-17点击:36

清华大学高性能计算研究所的翟季冬教授团队与清华系科创企业清程极智宣布,联合开源了大模型推理引擎 “赤兔 Chitu”,实现非H卡设备(如国产芯片、英伟达旧款GPU)无损运行原生FP8模型。

根据介绍,在首期开源版本中,通过赤兔引擎部署的DeepSeek-R1-671B满血版在A800集群测试中,相比部分国外开源框架,GPU使用量减少50%的情况下推理速度仍有3.15倍提速。

“有了赤兔引擎,这不仅意味着手里的大部分老卡旧卡又“复活”了,不用转换模型即可部署DeepSeek满血版,原生处理FP8数据,推理质量无损!同样意味着企业可以用更少的硬件资源,获得更高的性能,为企业私有化部署降低门槛。”

原文链接:https://www.oschina.net/news/339186
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章