APUS 联合新旦智能开源国内首个千亿级 MoE 架构大模型-低调大师

APUS 联合新旦智能开源国内首个千亿级 MoE 架构大模型

2024-04-02 363 89

4月2日，APUS发布官方公告，称其与战略合作伙伴新旦智能联合训练、研发的千亿MoE（Mixture of Experts）架构大模型——APUS-xDAN-4.0(MoE)在GitHub上正式开源。

开源地址：https://github.com/shootime2021/APUS-xDAN-4.0-moe

据介绍，APUS-xDAN-4.0(MoE)是国内首个千亿以上参数MoE架构的开源大模型，参数规模为1360亿，这也是目前国内参数规模最大的开源模型。此前国内开源的大模型中，参数规模最大的是阿里720亿参数的千问72B，参数规模为720亿。

此外，APUS-xDAN-4.0(MoE)还是国内首个支持在4090低端算力上训练的千亿参数开源大模型，通过MoE架构和算法优化实现了对低端算力芯片的适配。模型架构如下：

APUS-xDAN-4.0(MoE)与其他模型的性能对比：

微信关注我们

原文链接：https://www.oschina.net/news/285861/apus-xdan-4-0-moe

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2024-04-02 11:08:00

阿里云：以后公司 20% 代码由通义灵码编写

阿里云正在内部全面推行 AI 编程，使用通义灵码辅助程序员写代码、读代码、查 BUG、优化代码等。阿里云还专门给通义灵码分配了一个正式的员工工号 ——AI001。阿里云表示：“以后公司20%的代码都由通义灵码编写，程序员将更加专注于系统设计和核心业务开发。” 据介绍，传统开发模式下，程序员每天需要耗费大量精力编写重复性代码、调试优化、编写代码注释等基础工作，大幅挤压了核心业务代码编写的时间。在阿里云内部，通义灵码已在各个开发环节担任代码助理角色。以 API 开发测试工作为例，通义灵码可将数十分钟的人工编写测试耗时缩短到秒级，节省程序员 70% 以上的测试代码工作量。接下来，阿里云将在内部 JetBrains IDEs、Visual Studio Code 等开发工具中全面配置通义灵码插件，供所有员工使用。目前，通义灵码已熟练掌握 Java、Python、Go、JavaScript、TypeScript、C / C++、C# 等 200 多种编程语言。通义灵码由阿里云和通义实验室联合开发，目前下载量超 200 万。

281

2024-04-02 11:38:00

「天工 SkyMusic」音乐大模型今日启动邀测

4月2日，昆仑万维AI音乐生成大模型「天工SkyMusic」即日起面向社会开启免费邀测。本轮邀测将开放1000个免费名额，面向行业媒体、专家、以及感兴趣的音乐从业者开放，用户可扫描文后二维码或通过网页填写申请。「天工SkyMusic」正式版也将在4月17日随「天工3.0」面向全社会免费开放。申请网页：https://rg975ojk5z.feishu.cn/share/base/form/shrcnTcBRpGzv5Sx9xAGd5V97Md 公告指出，「天工SkyMusic」基于昆仑万维「天工3.0」超级大模型打造，是目前国内唯一公开可用的AI音乐生成大模型。采用音乐音频领域类Sora模型架构，Large-scale Transformer 负责谱曲，来学习 Music Patches 的上下文依赖关系，同时完成音乐可控性；Diffusion Transformer 负责演唱，通过LDM让Music Patches被还原成高质量音频，使得「天工SkyMusic」能够支持生成80秒44100Hz 采样率双声道立体声歌曲。这套模型架构在处理视频、音频和音乐领域效果极佳。昆仑万维团...

320

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。