蚂蚁集团百灵大模型通过备案，采用 Transfromer 架构-低调大师

蚂蚁集团百灵大模型通过备案，采用 Transfromer 架构

2023-11-06 359

11月6日，界面新闻从蚂蚁集团获悉，根据国家七部委联合公布的《生成式人工智能服务管理暂行办法》指导要求，蚂蚁百灵大模型已完成备案，基于百灵大模型的多款产品已陆续完成内测，将向公众开放。

本次通过备案的是蚂蚁百灵语言大模型，该大模型采用Transfromer架构，基于万亿级Token语料训练而成，支持窗口长度达32K。

目前，蚂蚁大模型已形成包括大模型底层基础设施、基础大模型、行业大模型、应用产品在内的完整技术链条。

在基础大模型层面，除了本次通过备案的百灵语言大模型，蚂蚁集团也在研发百灵多模态大模型，并已内测。

蚂蚁集团正式开源 CodeFuse 代码大模型
 蚂蚁集团证实正研发语言和多模态大模型，命名“贞仪”

国内第二批通过备案的 AI 大模型包括 11 家公司，部分已面向全社会开放服务。加上首批的 10 余个大模型，目前已有超过 20 个大模型获得备案。

新一批备案名单包括：网易有道（“子曰”大模型）、蚂蚁集团（百灵大模型）、面壁智能（“面壁露卡 Luca”）、出门问问（“序列猴子”）、昆仑万维（“天工”大模型）、美团（模型）、知乎（“知海图 AI”模型）、月之暗面（moonshot）、金山办公（WPS AI）、好未来（MathGPT 大模型）等。

8 月 31 日首批通过备案的 AI 大模型包括百度文心一言、百川智能、商汤商量 SenseChat、抖音（云雀大模型）、智谱 AI（GLM 大模型）、中科院（紫东太初大模型）、上海 MiniMax（ABAB 大模型）、上海人工智能实验室（书生通用大模型）、“360 智脑”等等。

挑战 ChatGPT，国产有这 8 款 AI 大模型产品

据悉，今年 8 月 15 日正式施行的《生成式人工智能服务管理暂行办法》，提供具有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。

微信关注我们

原文链接：https://www.oschina.net/news/265114

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

云几何内核开源平台 —— OpenGeometry 开源社区正式发布

11月5日，由广东省工业和信息化厅、广东省科学技术厅、广东省教育厅、深圳市人民政府主办，工业和信息化部第五研究所、广东省数字化学会承办，深圳市工业和信息化局、深圳市龙岗区人民政府、深圳市福田区人民政府协办的2023工业软件生态大会在广东省深圳市召开。在大会主论坛上，国内备受关注的云几何内核开源平台——OpenGeometry开源社区正式发布。据介绍，OpenGeometry Group（简称OGG）是由数字化工业软件联盟孵化，并由开元几何（深圳）科技有限公司作为服务公司运营的开源项目。OpenGeometry开源社区将通过搭建云几何内核的开源软件开发平台，构建新一代工业软件的核心“根”技术，为工业软件的产品研发提供支持，并带动上下游厂商、服务商等合作伙伴共同参与，最终形成产业链协同发展的良性循环。 OpenGeometry 开源社区表示，未来将积极与科研院校、工业软件厂商、工业软件应用企业、开发者等合作伙伴进行广泛的技术交流和合作，引进国内外最先进的技术、吸引顶尖的人才，引入数字化工业软件联盟的生态资源，深入电子、汽车、装备制造等行业应用中进行场景化联合研发，真正做到以高质量的技术...

2023-11-06

398

元象 XVERSE 公司宣布开源 650 亿参数高性能通用大模型 XVERSE-65B，无条件免费商用。 XVERSE-65B 采用了 Transformer 网络结构，模型通过训练了2.6万亿个令牌的高质量多样化数据，包含了40多种语言。具有16K 的上下文长度，适用于多轮对话、知识问答和摘要等任务。主要特点如下: 模型结构：XVERSE-65B 使用主流 Decoder-only 的标准 Transformer 网络结构，支持 16K 的上下文长度（Context Length），能满足更长的多轮对话、知识问答与摘要等需求，模型应用场景更广泛。训练数据：构建了 2.6 万亿 token 的高质量、多样化的数据对模型进行充分训练，包含中、英、俄、西等 40 多种语言，通过精细化设置不同类型数据的采样比例，使得中英两种语言表现优异，也能兼顾其他语言效果。分词：基于 BPE（Byte-Pair Encoding）算法，使用上百 GB 语料训练了一个词表大小为 100,534 的分词器，能够同时支持多语言，而无需额外扩展词表。训练框架：训练中采用 FlashAttention2 加...

2023-11-06

329

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。