行业内首次实现国产 GPU 从 0 到 1 的端到端 AI 大模型实训
摩尔线程、无问芯穹今天联合宣布,双方已经正式完成基于国产全功能 GPU 千卡集群的 3B 规模大模型“MT-infini-3B”实训,该模型基于摩尔线程国产全功能 GPU MTT S4000 组成的千卡集群,以及无问芯穹的 AIStudio PaaS 平台打造。
据悉,这次的 MT-infini-3B 模型训练总共用时 13.2 天,全程稳定无中断,集群训练稳定性达到 100%,千卡训练和单机相比扩展效率超过 90%,号称“充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产 GPU 千卡智算集群深度合作的新范式”。
本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。
目前,实训出来的MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上训练而成的其他模型,在C-Eval,MMLU,CMMLU等3个测试集上均实现性能领先。
MT-infini-3B性能表现
无问芯穹联合创始人兼CEO夏立雪表示:“国内大模型与国产芯片的软硬件协同发展,最终目标是构建一个成熟的生态系统。无问芯穹正在打造‘M种模型’和‘N种芯片’间的‘M×N’中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,而‘MT-infini-3B’的训练是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。”
摩尔线程创始人兼CEO张建中表示:“无问芯穹在夸娥千卡智算集群上实现的从零开始的大模型训练,不仅是对摩尔线程技术实力的有力认证,更是实现了国内大模型训练的国产化闭环。摩尔线程夸娥千卡智算集群以全功能GPU为底座,提供软硬一体化的全栈解决方案,具备高兼容性、高稳定性、高扩展性等综合优势,我们致力于成为AGI时代大模型训练坚实可靠的先进基础设施。”
此前,摩尔线程与无问芯穹已达成深度战略合作。无问芯穹大模型开发与服务平台“无穹Infini-AI”和摩尔线程大模型智算千卡集群夸娥已完成系统级融合适配,该平台可以灵活调用夸娥的集群能力以完成大模型的训练、微调与推理任务。未来,双方还将开展更多适配与测试,推动国产大模型技术的快速发展与应用普及,为中国人工智能产业的蓬勃发展贡献力量。
▼ 关于无问芯穹
无问芯穹(Infinigence AI)依托行业领先且经过验证的AI计算优化能力与算力解决方案,追求大模型落地的极致能效。打造“M种模型”和“N种芯片”间的“M×N”中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署。链接上下游,共建AGI时代大模型基础设施,加速AGI落地千行百业。
▼ 关于摩尔线程
摩尔线程是一家以全功能GPU芯片设计为主的集成电路高科技公司,能够为广泛的科技生态合作伙伴提供强大的计算加速能力,致力于打造为下一代互联网提供多元算力的元计算平台。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
GNOME 与资助方 STF 之间出现问题,或影响项目发展
上月,德国主权技术基金 Sovereign Tech Fund (STF) 曾宣布继续向 GNOME 进行投资。得益于 STF 的资助,GNOME 项目在最近几个月里也取得了许多显著的进步。 但其最近一周的状态更新内容指出,STF 与 GNOME 基金会之间出现了一些问题,具体未说明是什么,但很可能会影响项目后续的发展。 作为 GNOME STF 计划的一部分,许多社区成员都在从事与基础架构相关的项目。 我们目前正面临着来自 GNOME 基金会方面的一个重大问题。我们希望它能在影响 STF 项目的协调之前得到解决,但如果不能解决,该项目部分内容的未来将充满不确定性。 目前,STF 的资助已经为 GNOME 项目在一系列可访问性改进、门户网站增强等方面提供了助力。同时还推进了 GNOME 操作系统创建新安装程序的工作进展,名为“Setup”的新安装程序已经开始整合,但仍处于开发初期。 更多详情可 GNOME 查看官方公告。
- 下一篇
苹果重新设计其开发者论坛
苹果宣布已针对 WWDC24 重新设计其开发者论坛,以便于开发者与 Apple 专家、工程师以及彼此联系,寻找答案并获取建议。 “Apple 开发者关系部和 Apple 工程部门将联手解答您的问题,并努力解决您的技术问题。您将可以访问扩展的知识库并享受快速响应时间 - 这样您就可以重新开始创建和改进您的应用或游戏。此外,Apple 开发者计划成员现在可以优先访问论坛上的专家建议。” 论坛现在按照一些主题划分了十几个大分类,以帮助用户精确导航查找。具体包括:Accessibility & Inclusion、App & System Services、App Store分发和营销、商业与教育、代码签名、社区、开发人员工具和服务等等。 其中,每个大分类还包含了一些更具体的子主题。在特定问题旁边可能会出现“Apple 推荐”图标,表示 Apple 工程师已经回答了该问题;或者出现“已解决”图标,表示该问题有一个社区认可的答案。 除了按主题浏览外,还有一个 Latest 栏目,其中显示了所有主题的所有最新内容。 详情可查看:https://developer.apple.com...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8
- Mario游戏-低调大师作品
- Linux系统CentOS6、CentOS7手动修改IP地址
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题