国内最大开源模型发布,650 亿参数无条件免费商用
元象 XVERSE 公司宣布开源 650 亿参数高性能通用大模型 XVERSE-65B,无条件免费商用。
XVERSE-65B 采用了 Transformer 网络结构,模型通过训练了2.6万亿个令牌的高质量多样化数据,包含了40多种语言。具有16K 的上下文长度,适用于多轮对话、知识问答和摘要等任务。
主要特点如下:
- 模型结构:XVERSE-65B 使用主流 Decoder-only 的标准 Transformer 网络结构,支持 16K 的上下文长度(Context Length),能满足更长的多轮对话、知识问答与摘要等需求,模型应用场景更广泛。
- 训练数据:构建了 2.6 万亿 token 的高质量、多样化的数据对模型进行充分训练,包含中、英、俄、西等 40 多种语言,通过精细化设置不同类型数据的采样比例,使得中英两种语言表现优异,也能兼顾其他语言效果。
- 分词:基于 BPE(Byte-Pair Encoding)算法,使用上百 GB 语料训练了一个词表大小为 100,534 的分词器,能够同时支持多语言,而无需额外扩展词表。
- 训练框架:训练中采用 FlashAttention2 加速计算,3D 并行基础上采用虚拟流水线(virtual pipeline)技术,降低较长流水线和 16k 上下文窗口产生的过高气泡率,在千卡集群的峰值算力利用率达到业界前列。同时通过集群基础设施运营、资源调度、训练框架和调度平台协同等持续优化,打造出高稳定、低中断、强容错的训练系统,将每周有效训练率提升至 98.6%。
评测结果
元象 XVERSE 于 2021 年初在深圳成立,主营 AI 与 3D 技术,创始人姚星是前腾讯副总裁和腾讯AI Lab创始人。该公司目前累计融资金额超过2亿美元,投资机构包括腾讯、高榕资本、五源资本、高瓴创投、红杉中国、淡马锡和CPE源峰等。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
蚂蚁集团百灵大模型通过备案,采用 Transfromer 架构
11月6日,界面新闻从蚂蚁集团获悉,根据国家七部委联合公布的《生成式人工智能服务管理暂行办法》指导要求,蚂蚁百灵大模型已完成备案,基于百灵大模型的多款产品已陆续完成内测,将向公众开放。 本次通过备案的是蚂蚁百灵语言大模型,该大模型采用Transfromer架构,基于万亿级Token语料训练而成,支持窗口长度达32K。 目前,蚂蚁大模型已形成包括大模型底层基础设施、基础大模型、行业大模型、应用产品在内的完整技术链条。 在基础大模型层面,除了本次通过备案的百灵语言大模型,蚂蚁集团也在研发百灵多模态大模型,并已内测。 蚂蚁集团正式开源 CodeFuse 代码大模型蚂蚁集团证实正研发语言和多模态大模型,命名“贞仪” 国内第二批通过备案的 AI 大模型包括 11 家公司,部分已面向全社会开放服务。加上首批的 10余个大模型,目前已有超过 20个大模型获得备案。 新一批备案名单包括:网易有道(“子曰”大模型)、蚂蚁集团(百灵大模型)、面壁智能(“面壁露卡 Luca”)、出门问问(“序列猴子”)、昆仑万维(“天工”大模型)、美团(模型)、知乎(“知海图 AI”模型)、月之暗面(moonshot)、金...
- 下一篇
承载微软跨平台生态之梦的 UWP,正在消亡
开发者发现,微软最新的 Windows11Canary Build 25987 预览版已经开始提供两个版本的 XAML Shell 服务,新的版本直接基于 Win32 + XAML,曾经被寄予厚望的 UWP 在新版本里已经不见踪影。 viahttps://twitter.com/thebookisclosed/status/1720108362275213594 据介绍,新增的 dll 名为 ControlCenter.dll,这是控制中心的文件,目前已经同时提供旧版本和新的基于 Win32+XAML 的版本,即用户可以通过 ViveTool 启用这种新变体。 一般来说能被发现已经可以通过 ViveTool 启用,那么这个新变化基本已经开发完毕,后续就会分别面向不同的用户进行测试,收集运行数据。 延伸阅读 微软正式弃用 UWP WinUI 3 仍专注于 Win32 应用,暂无面向 UWP 的计划 Win32 应用进入微软应用商店,UWP 怎么办? Microsoft Store 完全使用 XAML 以替代 HTML,Visual Studio 预计年底上架商店
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2全家桶,快速入门学习开发网站教程
- Hadoop3单机部署,实现最简伪集群
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS关闭SELinux安全模块
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8安装Docker,最新的服务器搭配容器使用