李彦宏:自然语言将成为新的通用编程语言、开源模型会越来越落后
百度创始人、董事长兼首席执行官李彦宏今天在Create 2024百度AI开发者大会上发表了题为《人人都是开发者》的演讲。他认为,大模型和生成式AI将彻底改变开发者这个群体。 李彦宏提到,有了基础模型文心4.0之后,百度可以根据需要,兼顾效果、相应速度,推理成本等各种考虑,剪裁出适合各种场景的更小尺寸模型,并且支持精调和post pretrain(一种预训练的模型训练方法)。 这样通过降维剪裁出来的模型,比直接用开源模型调出来的模型,同等尺寸下,效果明显更好;同等效果下,成本明显更低。 基于这种对比效果,李彦宏放话称,“开源模型会越来越落后”。 此外,经过百度过去一年的大模型AI原生应用开发实践,李彦宏认为,大语言模型本身并不直接创造价值,基于大模型开发出来的AI应用才能满足真实的市场需求,他顺势提出了三个相关行业趋势。 首先,未来大型的AI原生应用基本都是MoE的,这里的MoE指的是大小模型的混用,不依赖一个模型来解决所有问题。 第二是小模型。小模型推理成本低,响应速度快,在一些特定场景中,经过精调后的小模型,它的使用效果可以媲美大模型。 百度已经发布了ERNIE Speed,ERNI...
