百度 CTO 王海峰解读文心大模型 3.5 最新进展
百度首席技术官王海峰在近日举办的 ACM 中国图灵大会上,就文心大模型的核心技术进行了解读。
文心一言是百度自主研制的知识增强大语言模型,首先从数万亿数据和数千亿知识中融合学习得到预训练大模型,在此基础上采用有监督精调、人类反馈的强化学习和提示等技术,并具备知识增强、检索增强和对话增强等技术优势。
王海峰解读了文心大模型3.5的核心技术创新,通过飞桨与文心协同优化,文心大模型3.5实现了基础模型升级、精调技术创新、知识点增强、逻辑推理增强等,模型效果提升50%,训练速度提升2倍,推理速度提升30倍。
在基础模型训练上,采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略,并采用多种策略优化数据源及数据分布,加快了模型迭代速度,显著提升了模型效果和安全性。同时,百度研发团队创新了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术,进一步提升模型效果及场景适配能力。
在知识增强和检索增强基础上,文心大模型3.5提出了“知识点增强技术”,使得模型能够更好地利用精细的知识点来提升理解生成等方面的能力,进而提升对世界知识的掌握和运用。
在推理方面,通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络技术,提升文心大模型3.5在逻辑推理、数学计算及代码生成等任务上的表现。
文心大模型3.5还新增了插件机制,包括官方插件百度搜索和 ChatFile,使得文心一言能够生成实时准确信息和长文本摘要,拓展了大模型能力边界。
根据 IDC 最新发布的《AI 大模型技术能力评估报告,2023》,百度文心大模型3.5在14个参评模型中拿下12项指标的7个满分,得到“综合评分第一,算法模型第一,行业覆盖第一”三个绝对第一。
此外,王海峰还在演讲中展示了文心一言的问答对话、文案生成、行程规划等能力,以及在办公、会议、编码等场景的应用。
对于大模型的产业模式,王海峰表示,在文心一言这类大模型产业落地的进程中,可以采用“集约化生产,平台化应用”的模式,即具有算法、算力和数据综合优势的企业将模型生产的复杂过程封装起来,通过低门槛、高效率的生产平台,为千行百业提供大模型服务,支撑产业智能化升级。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
BootstrapBlazor v7.9.0 已经发布,Bootstrap 样式的 Blazor UI 组件库
BootstrapBlazor v7.9.0 已经发布,Bootstrap 样式的 Blazor UI 组件库 此版本更新内容包括: Release 2023-08-01 V7.9.0 What's Changed Bugs fix(Chart): 修复 borderWidth 属性不生效问题 by @azlis in https://github.com/dotnetcore/BootstrapBlazor/pull/1474 fix(Filter): 修复弹窗内 Table 组件过滤窗口内文本框无法输入文字问题 by @ArgoZhang in https://github.com/dotnetcore/BootstrapBlazor/pull/1494 fix(Table): 修复 Table 开启 ResizeColumn 拖动列宽时触发列排序问题 by @ArgoZhang in https://github.com/dotnetcore/BootstrapBlazor/pull/1500 fix(Table): 修复 Table 组件 CardView 模式下不触发 Sho...
- 下一篇
不同语言使用 AI 大模型的成本不同:英语最便宜、中文是英文成本的 2 倍
推特用户 Dylan Patel(@dylan522p) 发布的一张图片显示,大语言模型使用不同语言的成本差异很大。 这名用户展示了一张牛津大学的研究显示成果。根据对GPT-4和其他常见大语言模型的研究,由于 OpenAI 等服务所采用的服务器成本衡量和计费的方式,英语输入和输出的费用要比其他语言低得多,其中简体中文的费用大约是英语的两倍,西班牙语是英语的 1.5 倍,而缅甸的掸语则是英语的 15 倍。 根据牛津大学的研究,让一个 LLM 处理一句缅甸语句子需要 198 个词元(tokens),而同样的句子用英语写只需要 17 个词元。词元代表了通过 API(如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2)访问 LLM 所需的计算力成本,这意味着缅甸语句子使用这种服务的成本比英语句子高出 11 倍。 词元化模型(即人工智能公司将用户输入转换为计算成本的方式)意味着,除了英语之外的其他语言使用和训练模型要贵得多。 这是因为像中文这样的语言有着不同、更复杂的结构(无论是从语法还是字符数量上),导致它们需要更高的词元化率。例如,根据 OpenAI 的 GP...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Red5直播服务器,属于Java语言的直播服务器
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- CentOS6,CentOS7官方镜像安装Oracle11G
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS8编译安装MySQL8.0.19