95% 向量资源节省,火山引擎云搜索 RAG 技术体系演进
采访嘉宾 | 火山引擎云搜索团队 鲁蕴铖、李杰辉、余炜强 编辑 | Tina InfoQ 2023 年,大模型惊艳了世界。2024 年,RAG 技术如日中天。 RAG 使得大模型能够在不更新模型参数的情况下,获得必要的上下文信息,从而减少大模型的幻觉。随着大型语言模型技术的不断成熟和行业应用的深入,人们对 RAG 系统的期望已经超越了对其“酷炫”效果的追求。企业和组织开始寻找更可靠、可扩展的 RAG 解决方案,以满足实际业务需求。 与此同时,支撑 RAG 的向量数据库市场竞争愈加激烈。然而从当前向量数据库的实现来看,无论是插件形式,还是专门的向量数据库,底层实现上很多都是采用诸如 HNSW 之类的公开算法,因此一些关键指标例如召回率并不会有太大的区别。那么一个企业级解决方案想要脱颖而出,需要在哪些方面下功夫呢? 向量数据库:RAG 的心脏 RAG 的出现是为了解决大模型幻觉问题,但它的出现也标志着搜索范式的变化。 过去我们通过搜索框输入关键词,然后在上面自己去查找内容。搜索可以使用特定关键字或者搜索技巧,很容易找到想要的信息。而问答则基于人类语言进行提问,不依赖关键字。这就导致...
