网易有道自研知识库问答引擎 QAnything 开源

网易有道宣布自研的知识库问答引擎 QAnything正式开源：Q 是question，A是answer，QAnything的目标在于“万物皆可问”。

除了可以调用云端大模型服务，还支持纯本地部署。系统支持word、ppt、excel、pdf、图片等多种文档格式，直接导入进去即可像"ChatGPT"一样问答。

（QAnything 系统架构图）

QAnything的主要原理是基于检索增强的生成（Retrieval Augmented Generation，简称RAG）。作为有道自研的RAG引擎，QAnything 结合了用户私有数据和大模型的优势——用户的任何内容，以任意的形式存在，比如各种格式的文档，音频，数据库等，都可以在QAnything的支持下，变成可以针对其内容进行问答的使用方式，通过这个技术框架用户可以很方便地搭建自己的智能知识助手。

值得一提的是，QAnything是一套完整的RAG系统，包括专门优化的自研的embedding和rerank模型，微调后的LLM，优化后的推理代码，向量数据库，以及一个立即上手可用的前端。所有的算法模型（包括7B大模型+embedding/rerank+OCR）占用显存不超过16G。

如今，QAnything已在有道翻译文档问答、有道速读及有道内部业务的客服系统等多个产品中进行了应用。

公告表示，目前 QAnything 项目还在不断迭代，欢迎大家参与开发，并给予更多反馈。