蚂蚁集团百灵大模型通过备案,采用 Transfromer 架构
11月6日,界面新闻从蚂蚁集团获悉,根据国家七部委联合公布的《生成式人工智能服务管理暂行办法》指导要求,蚂蚁百灵大模型已完成备案,基于百灵大模型的多款产品已陆续完成内测,将向公众开放。
本次通过备案的是蚂蚁百灵语言大模型,该大模型采用Transfromer架构,基于万亿级Token语料训练而成,支持窗口长度达32K。
目前,蚂蚁大模型已形成包括大模型底层基础设施、基础大模型、行业大模型、应用产品在内的完整技术链条。
在基础大模型层面,除了本次通过备案的百灵语言大模型,蚂蚁集团也在研发百灵多模态大模型,并已内测。
国内第二批通过备案的 AI 大模型包括 11 家公司,部分已面向全社会开放服务。加上首批的 10 余个大模型,目前已有超过 20 个大模型获得备案。
新一批备案名单包括:网易有道(“子曰”大模型)、蚂蚁集团(百灵大模型)、面壁智能(“面壁露卡 Luca”)、出门问问(“序列猴子”)、昆仑万维(“天工”大模型)、美团(模型)、知乎(“知海图 AI”模型)、月之暗面(moonshot)、金山办公(WPS AI)、好未来(MathGPT 大模型)等。
8 月 31 日首批通过备案的 AI 大模型包括百度文心一言、百川智能、商汤商量 SenseChat、抖音(云雀大模型)、智谱 AI(GLM 大模型)、中科院(紫东太初大模型)、上海 MiniMax(ABAB 大模型)、上海人工智能实验室(书生通用大模型)、“360 智脑”等等。
据悉,今年 8 月 15 日正式施行的《生成式人工智能服务管理暂行办法》 ,提供具有舆论属性或者社会动员能力的生成式人工智能服务的,应当按照国家有关规定开展安全评估,并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
云几何内核开源平台 —— OpenGeometry 开源社区正式发布
11月5日,由广东省工业和信息化厅、广东省科学技术厅、广东省教育厅、深圳市人民政府主办,工业和信息化部第五研究所、广东省数字化学会承办,深圳市工业和信息化局、深圳市龙岗区人民政府、深圳市福田区人民政府协办的2023工业软件生态大会在广东省深圳市召开。 在大会主论坛上,国内备受关注的云几何内核开源平台——OpenGeometry开源社区正式发布。 据介绍,OpenGeometry Group(简称OGG)是由数字化工业软件联盟孵化,并由开元几何(深圳)科技有限公司作为服务公司运营的开源项目。OpenGeometry开源社区将通过搭建云几何内核的开源软件开发平台,构建新一代工业软件的核心“根”技术,为工业软件的产品研发提供支持,并带动上下游厂商、服务商等合作伙伴共同参与,最终形成产业链协同发展的良性循环。 OpenGeometry 开源社区表示,未来将积极与科研院校、工业软件厂商、工业软件应用企业、开发者等合作伙伴进行广泛的技术交流和合作,引进国内外最先进的技术、吸引顶尖的人才,引入数字化工业软件联盟的生态资源,深入电子、汽车、装备制造等行业应用中进行场景化联合研发,真正做到以高质量的技术...
- 下一篇
国内最大开源模型发布,650 亿参数无条件免费商用
元象 XVERSE 公司宣布开源 650 亿参数高性能通用大模型 XVERSE-65B,无条件免费商用。 XVERSE-65B 采用了 Transformer 网络结构,模型通过训练了2.6万亿个令牌的高质量多样化数据,包含了40多种语言。具有16K 的上下文长度,适用于多轮对话、知识问答和摘要等任务。 主要特点如下: 模型结构:XVERSE-65B 使用主流 Decoder-only 的标准 Transformer 网络结构,支持 16K 的上下文长度(Context Length),能满足更长的多轮对话、知识问答与摘要等需求,模型应用场景更广泛。 训练数据:构建了 2.6 万亿 token 的高质量、多样化的数据对模型进行充分训练,包含中、英、俄、西等 40 多种语言,通过精细化设置不同类型数据的采样比例,使得中英两种语言表现优异,也能兼顾其他语言效果。 分词:基于 BPE(Byte-Pair Encoding)算法,使用上百 GB 语料训练了一个词表大小为 100,534 的分词器,能够同时支持多语言,而无需额外扩展词表。 训练框架:训练中采用 FlashAttention2 加...
相关文章
文章评论
共有0条评论来说两句吧...