APUS 联合新旦智能开源国内首个千亿级 MoE 架构大模型

4月2日，APUS发布官方公告，称其与战略合作伙伴新旦智能联合训练、研发的千亿MoE（Mixture of Experts）架构大模型——APUS-xDAN-4.0(MoE)在GitHub上正式开源。

开源地址：https://github.com/shootime2021/APUS-xDAN-4.0-moe

据介绍，APUS-xDAN-4.0(MoE)是国内首个千亿以上参数MoE架构的开源大模型，参数规模为1360亿，这也是目前国内参数规模最大的开源模型。此前国内开源的大模型中，参数规模最大的是阿里720亿参数的千问72B，参数规模为720亿。

此外，APUS-xDAN-4.0(MoE)还是国内首个支持在4090低端算力上训练的千亿参数开源大模型，通过MoE架构和算法优化实现了对低端算力芯片的适配。模型架构如下：

APUS-xDAN-4.0(MoE)与其他模型的性能对比：