百度CTO王海峰做客《中国经济大讲堂》:文心一言,读书破万亿
当下,大语言模型热度空前,诸如文心一言、ChatGPT 等已经能够与人对话互动、回答问题、协助创作,逐渐应用于人们的工作和生活,也引发了社会热议。近日,百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰再次做客 CCTV-2 《中国经济大讲堂》,阐释文心一言这类大语言模型的产品能力、技术原理和产业价值。
文心一言读书破万亿
五大能力业内领先
人工智能时代,IT 技术栈可分为“芯片层、框架层、模型层和应用层”,百度是全球为数不多、进行全栈布局的人工智能公司。从昆仑芯片、飞桨深度学习平台、文心大模型到应用,在技术栈的每一层,都有领先的关键自研技术,实现了层与层反馈,端到端优化,大幅提升效率。文心一言是百度人工智能多年技术积累和产业实践的水到渠成,尤其是飞桨深度学习平台和文心大模型的联合优化,为文心一言提供了坚实的技术支撑。
王海峰强调,文心一言完全是百度自主研发的大语言模型。百度早在 2019 年就发布文心大模型 ERNIE 1.0,经过近 4 年研发和迭代,文心大模型已经形成了产业级知识增强大模型技术体系,包括自然语言处理、视觉、跨模态、生物计算、行业大模型,以及支撑大模型应用的工具平台,蕴含了大量百度自主创新、并且在大规模产业应用中得到验证的技术。其中有些关键技术已申请专利或者发表论文,还有一些相关技术也已开源开放。
文心一言是大语言模型的典型代表。王海峰以“读书破万卷,下笔如有神”为例,解读了大语言模型从海量数据中学习,就相当于读了万亿卷书籍,吸收了万亿知识,做到了理解,在此基础上,就可以按照用户的需求去生成文案、回答问题、完成总结分析了。
关于 “文心一言”名字由来,王海峰做了具体阐释:“文”是语言文字,“心”是用心理解,“文心”指致力于理解和运用语言文字的自然语言理解模型,同时也呼应了《文心雕龙》,寓意用雕缕龙纹一样精细的功夫去研究语言文字的内涵和魅力;“一言”既有“一言为定、一言九鼎”的寓意,也有对人机之间“你一言我一语”流畅沟通的殷切期盼。文心“一言”既出,即可“一生二、二生三、三生万言”。
现场还展示了文心一言的文学创作、商业文案创作、推理计算、中文理解和多模态生成等能力。在文学创作方面,文心一言不仅可以撰写《流浪地球2》的影评文案,还可以创作朋友圈配图,并续写《流浪地球3》的后续剧情;在商业文案创作方面,文心一言帮助想开店的创业者做好筹备工作,比如调研北京中关村3公里范围内办公人群口味偏好、设计店名、创作宣传语和藏头诗,以及收集汇总创立餐饮店涉及的政府部门与相关流程手续;在推理计算方面,文心一言可以准确计算复杂的数学问题,先理解问题,再通过思维链推理,最后生成答案;在中文理解方面,文心一言可以准确解答“日照香炉生紫烟,遥看瀑布挂前川”诗句是哪里的自然景象及其背后的物理现象;在多模态生成方面,文心一言可以准确回答中国古诗的相关问题,并制表、作画,用方言朗读。
六大核心技术加持
文心一言落地水到渠成
文心一言是文心大模型家族的新成员,在文心知识增强大模型 ERNIE 及对话大模型 PLATO 的基础上研发,基于飞桨深度学习平台训练和部署,其关键技术包括,有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。前三项是这类大语言模型都会采用的技术,在 ERNIE 和 PLATO 模型中已经有应用和积累,文心一言中又进行了进一步强化和打磨,做到了更懂中文、更懂中国文化、更懂中国的使用场景;后三项则是百度已有技术优势的再创新,也是文心一言越来越强大的技术底气。
王海峰以老师教学生为例,深入浅出地解读了大语言模型背后的技术原理。预训练大模型像博览群书的学生,记住了很多知识,但需要老师来指导如何运用,而有监督精调就是老师在教学生,将提炼出来的知识要点、典型范例等教给模型,让它知道该如何符合人类规范、习惯和价值观,去执行相应动作,生成相应内容。文心一言训练了奖励模型,为每次输出的结果打分并给到反馈,进行强化学习,随着真实用户的反馈越来越多,文心一言的效果会越来越好,能力越来越强,进步“一日千里”。此外,文心一言还融合了不同类型数据和知识,自动构造提示,包括实例、提纲、规范、知识点和思维链等,提供了丰富的参考信息,激发模型相关知识,生成高质量结果。
对于百度已有技术优势的再创新,王海峰也做了进一步解读。
在知识增强方面,知识是人类认识和改造世界的智慧结晶。百度构建了 5500 亿事实的知识图谱。文心一言基于庞大的知识图谱来做知识增强,从海量数据和大规模知识中融合学习,还可以直接调用知识图谱做知识推理,自动构建提示,高效满足用户需求。在知识的指导下,文心一言如同站在巨人的肩膀上,学得又好又快,模型效率和效果均大幅提升。
在检索增强方面,百度拥有世界上最大的中文搜索引擎,百度搜索已经发展到基于语义理解和匹配的新一代搜索架构,深入理解用户需求和网页内容,进行语义匹配,得到更精准的搜索结果,进而为大模型提供准确率高、时效性强的参考信息,更好地满足用户需求。
在对话增强方面,基于对话技术和应用积累,文心一言具备记忆机制、上下文理解和对话规划能力,实现更好的对话连贯性、合理性和逻辑性。百度深耕对话技术多年,取得了国际领先的技术成果,荣获中国专利金奖、吴文俊人工智能科技进步特等奖等,为文心一言的成功研发奠定了基础。
文心一言普惠千行百业
加速产业智能化变革
大语言模型的飞速发展已经引起社会热议,对于工作岗位替代、教育模式变革、人工智能安全等问题,王海峰也给出了解答。
他表示,文心一言这样的人工智能技术,本质上是提升生产力的工具,可以替代人类完成一些工作,但同时也会创造更多工作机会,使人类可以去做更具创造力的工作。正如人类历史上任何一次科技革命和产业变革都会带来一些工作被替代,同时创造了更多新的工作机会。在教育模式的转变上,“死记硬背”已经落伍,教育将与时俱进,向激发灵感、培养创造力的方向转变。
在人工智能安全性方面,百度坚定遵守相关法律法规和伦理规范,专门配备了相应监督机制和管理机制,从各个环节做好安全防范。在文心一言的开发过程中,从最初的数据的采集、处理,模型的训练,到最后的使用过程,构筑了五道安全防线。百度也成立了数据管理委员会,还与社会各界共同合作,不断完善相关政策、规则,强化人工智能安全。关于人工智能是否会控制人类,王海峰强调,就像人造地球卫星永远也不会和月球这样的自然卫星画等号一样,人工智能永远也不会直接跟人类的智能完全画等号,研究人工智能是在研究用技术手段来模拟、延伸和拓展人的智能,最终目的是为人类带来更先进的科技,服务于人类更美好的生活和社会的发展。
当下,人工智能已经成为新一轮科技革命和产业变革的重要驱动力量,而深度学习作为人工智能的核心技术,具备很强的通用性,呈现出标准化、自动化、模块化的工业大生产特征,推动人工智能进入工业大生产阶段。大模型具有效果好、泛化性强、研发流程标准化的特点,正在成为人工智能技术及应用的新基座。但与此同时,大模型研发门槛高、难度大,依赖算法、算力和数据综合支撑,产业化面临挑战:模型体积大,训练难度高;算力规模大,性能要求高;数据规模大,数据质量参差不齐。
如何实现大模型产业化?王海峰表示,类似芯片代工厂的模式,具有算法、算力和数据综合优势的企业,可以将模型生产的复杂过程封装起来,通过低门槛、高效率的生产平台,为千行百业提供大模型服务。未来,文心一言这类大语言模型会成为一个通用的赋能平台,金融、能源、媒体、政务等各行各业,都可以基于文心一言实现智能化变革,提高效率,创造巨大的商业价值。期待社会各界积极拥抱新技术,共同努力,实现高水平科技自立自强,为经济高质量增长带来更多动能。
欢迎大家关注飞桨视频号,获取更多关于中国经济大讲堂的短视频~

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
【架构与设计】常见微服务分层架构的区别和落地实践
作者:京东科技康志兴 前言 从强调内外隔离的六边形架构,逐渐发展衍生出的层层递进、注重领域模型的洋葱架构,再到和DDD完美契合的整洁架构。架构风格的不断演进,其实就是为了适应软件需求越来越复杂的特点。 可以看到,越现代的架构风格越倾向于清晰的职责定位,且让领域模型成为架构的核心。 基于这些架构风格,在软件架构设计过程中又有非常多的架构分层模型。 传统三层架构 传统服务通常使用三层架构: • 门面层:作为服务暴露的入口,处理所有的外部请求。部分情况下,门面层甚至不需要单独定义对象而是直接使用服务层的实体定义。 • 服务层:作为核心业务层,包含所有业务逻辑。并对基础层能力进行简单组合提供一定的能力复用。通常服务层会进行实体定义来防止下层对象体直接暴露给外部服务,导致底层任何变化都有可能直接传递到外部,非常不稳定。 • 基础层:用来存放dao和外部rpc服务的封装,二者可以拆分为不同的module,也可合二为一,以不同package进行隔离。 三层架构特点就是简单,适用于一些无复杂业务场景的小型应用,或者“数据不可变”作为基础原则的DOP(面向数据编程)服务。 但是当业务场景稍微复杂一些、调...
- 下一篇
优化故事: BLOOM 模型推理
经过“九九八十一难”,大模型终于炼成。下一步就是架设服务,准备开门营业了。真这么简单?恐怕未必!行百里者半九十,推理优化又是新的雄关漫道。如何进行延迟优化?如何进行成本优化 (别忘了 OpenAI 8K 上下文的 GPT-4 模型,提示每 1000 词元只需 0.03 美金,补全每 1000 词元只需 0.06 美金)?如何在延迟和吞吐量之间折衷?如何处理大模型特有的分布式推理后端和网络服务前端的协作问题……要不动手之前还是先看看 BLOOM 推理服务踩过的坑吧! 您可以通过点击 阅读原文 查看文段中提到的链接。 本文介绍了我们在实现 BLOOM 模型高效推理服务的过程中发生的幕后故事。 在短短数周内,我们把推理延迟降低了 5 倍 (同时,吞吐量增加了 50 倍)。我们将分享我们为达成这一性能改进而经历的所有斗争和史诗般的胜利。 在此过程中,不同的人参与了不同的阶段,尝试了各种不同的优化手段,我们无法一一罗列,还请多多包涵。如果你发现本文中某些内容可能已过时甚至完全错误,这也不奇怪,因为一方面对于如何优化超大模型性能我们仍在努力学习中,另一方面,市面上新硬件功能和新优化技巧也层出不穷。...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS7设置SWAP分区,小内存服务器的救世主
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Hadoop3单机部署,实现最简伪集群
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Red5直播服务器,属于Java语言的直播服务器
- CentOS7安装Docker,走上虚拟化容器引擎之路
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果