APUS 联合新旦智能开源国内首个千亿级 MoE 架构大模型-低调大师

APUS 联合新旦智能开源国内首个千亿级 MoE 架构大模型

2024-04-02 399

4月2日，APUS发布官方公告，称其与战略合作伙伴新旦智能联合训练、研发的千亿MoE（Mixture of Experts）架构大模型——APUS-xDAN-4.0(MoE)在GitHub上正式开源。

开源地址：https://github.com/shootime2021/APUS-xDAN-4.0-moe

据介绍，APUS-xDAN-4.0(MoE)是国内首个千亿以上参数MoE架构的开源大模型，参数规模为1360亿，这也是目前国内参数规模最大的开源模型。此前国内开源的大模型中，参数规模最大的是阿里720亿参数的千问72B，参数规模为720亿。

此外，APUS-xDAN-4.0(MoE)还是国内首个支持在4090低端算力上训练的千亿参数开源大模型，通过MoE架构和算法优化实现了对低端算力芯片的适配。模型架构如下：

APUS-xDAN-4.0(MoE)与其他模型的性能对比：

微信关注我们

原文链接：https://www.oschina.net/news/285861/apus-xdan-4-0-moe

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云：以后公司 20% 代码由通义灵码编写

阿里云正在内部全面推行 AI 编程，使用通义灵码辅助程序员写代码、读代码、查 BUG、优化代码等。阿里云还专门给通义灵码分配了一个正式的员工工号 ——AI001。阿里云表示：“以后公司20%的代码都由通义灵码编写，程序员将更加专注于系统设计和核心业务开发。” 据介绍，传统开发模式下，程序员每天需要耗费大量精力编写重复性代码、调试优化、编写代码注释等基础工作，大幅挤压了核心业务代码编写的时间。在阿里云内部，通义灵码已在各个开发环节担任代码助理角色。以 API 开发测试工作为例，通义灵码可将数十分钟的人工编写测试耗时缩短到秒级，节省程序员 70% 以上的测试代码工作量。接下来，阿里云将在内部 JetBrains IDEs、Visual Studio Code 等开发工具中全面配置通义灵码插件，供所有员工使用。目前，通义灵码已熟练掌握 Java、Python、Go、JavaScript、TypeScript、C / C++、C# 等 200 多种编程语言。通义灵码由阿里云和通义实验室联合开发，目前下载量超 200 万。

2024-04-02

313

4月2日，昆仑万维AI音乐生成大模型「天工SkyMusic」即日起面向社会开启免费邀测。本轮邀测将开放1000个免费名额，面向行业媒体、专家、以及感兴趣的音乐从业者开放，用户可扫描文后二维码或通过网页填写申请。「天工SkyMusic」正式版也将在4月17日随「天工3.0」面向全社会免费开放。申请网页：https://rg975ojk5z.feishu.cn/share/base/form/shrcnTcBRpGzv5Sx9xAGd5V97Md 公告指出，「天工SkyMusic」基于昆仑万维「天工3.0」超级大模型打造，是目前国内唯一公开可用的AI音乐生成大模型。采用音乐音频领域类Sora模型架构，Large-scale Transformer 负责谱曲，来学习 Music Patches 的上下文依赖关系，同时完成音乐可控性；Diffusion Transformer 负责演唱，通过LDM让Music Patches被还原成高质量音频，使得「天工SkyMusic」能够支持生成80秒44100Hz 采样率双声道立体声歌曲。这套模型架构在处理视频、音频和音乐领域效果极佳。昆仑万维团...

2024-04-02

343

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。