CodeFuse 开源这半年

预训练语言模型可以在大量的文本数据上学习通用的语言模式和结构。通过运用无监督学习技术，模型可以基于前面的词序列来预测句子中的下一个词。然而，仅仅进行预训练并不能在特定的自然语言处理任务上取得高性能。因此，需要在特定任务的小型数据集上对预训练模型进行微调，以学习任务特定的特征并提高性能。微调过程使用监督学习技术将预训练模型适应到特定的任务上。将训练过程分为预训练和微调两个阶段，可以使自然语言处理模型充分发挥无监督学习和有监督学习的优势。

但是，需要注意的是，当模型的参数量巨大时，为每一个下游任务独立进行微调并部署将需要大量的资源。然而，是否存在一种方法可以让一个模型同时支持所有的下游任务呢？答案是肯定的，多任务微调（multitask fine-tuning，MFT）为解决这个问题提供了一种有效的途径。

多任务微调不仅能够节省资源，还能够带来其他优势。通过联合训练，模型可以学习到多个任务之间的特征和规律。相比于针对每一个任务单独进行微调，多任务微调能够更好地完成各种任务。同时，由于学习到的特征和规律是相互联系的，模型的泛化能力也会得到提高。这意味着，即使在面对未见过的任务时，模型也能够表现出色，因为它已经学习到了许多相关任务的特征和规律。

我们希望用户逐渐从各处资料查询、独立分散平台操作的传统开发运维模式转变到大模型问答的智能化开发运维模式，改变人们的开发运维习惯。

核心差异技术、功能点：

• 智能调度核心： 构建了体系链路完善的调度核心，支持多模式一键配置，简化操作流程。
• 代码整库分析： 实现了仓库级的代码深入理解，以及项目文件级的代码编写与生成，提升了开发效率。
• 文档分析增强： 融合了文档知识库与知识图谱，通过检索和推理增强，为文档分析提供了更深层次的支持。
• 垂类专属知识： 为 DevOps 领域定制的专属知识库，支持垂类知识库的自助一键构建，便捷实用。
• 垂类模型兼容： 针对 DevOps 领域的小型模型，保证了与DevOps相关平台的兼容性，促进了技术生态的整合。

依托于开源的 LLM 与 Embedding 模型，可实现基于开源模型的离线私有部署，此外，也支持 OpenAI API 的调用。

CodeFuse-Query 的特点和优势可以概括为以下几点：

• 高度可扩展：CodeQuery 可以处理大规模的代码库，且能够适应不同的分析需求。这种高度的可扩展性使得 CodeQuery 可以在大型组织中发挥重要作用。
• 以数据为中心：CodeQuery 将源代码和分析结果视作数据，这种以数据为中心的方法使其在处理大数据环境中的代码分析问题时具有独特优势。
• 高度集成：CodeQuery 能够无缝地融入大型组织的各种系统中，包括数据仓库、数据计算设施、对象存储和灵活计算资源等。这种高度的集成性使得 CodeQuery 在大型组织中的使用变得更加方便和高效。
• 支持多元化的需求：CodeQuery 不仅可以处理大规模的代码库，还可以应对各种复杂的分析需求，包括服务质量分析需求、跨编程语言分析需求、算法需求和性能需求等。
   

大模型的号角已经吹响，测试领域大模型也在不断进化中，通过预训练过程中积累的丰富世界知识，在复杂交互环境中展现出了非凡的推理与决策能力。

尽管在测试领域中，基础模型取得了显著的成果，但仍然存在一些局限性，特定领域的测试任务通常需要专业化的工具或领域知识来解决。例如，基础模型可以通过预训练知识完成单次测试代码生成和测试文本生成等任务，但处理复杂的集成用例生成、特定领域用例生成和测试流程 pipeline 交互等问题时，需要更专业的工具和领域知识。

因此将专用工具与基础模型整合在一起，可以充分发挥它们各自的优势。专用工具可以解决模型时效性不足、增强专业知识、提高可解释性和鲁棒性的问题。而基础模型则具备类人的推理规划能力，可以理解复杂的数据和场景，并与现实世界进行交互。

当前大模型服务面临以下三个挑战：

• 成本高：大模型参数量千亿级别，单实例就需要多张 A10 卡，规模化部署成本高昂。因此，当前大模型服务基本按照处理的 token 数量计费，导致用户侧使用成本也居高不下。
• 速度慢：大型模型的推理速度也是一个关键问题。在许多实时应用中，如对话系统、业务助手，响应时间要求非常高，通常在毫秒级别。然而，大型模型的推理速度往往较慢，在秒级，导致无法实时返回结果，用户体验下降。
• 稳定性无保障：由于单实例部署成本高昂，当前大模型服务接受到大流量请求时，通过限流的方式，防止服务不可用。

针对上述挑战，引入大模型缓存可以解决当前问题：通过引入 Cache 机制，缓存已计算的结果，当接收到类似请求，可以直接从缓存获取结果，避免重复计算，节约计算资源，显著提升响应时间，提升用户体验；同时，缓存可以起到分流的作用，降低透传到后端的请求量，降低后端压力，提升服务稳定性。因此，Cache 作为一种重要的大模型服务部署解决方案，在资源有限和对实时性要求较高的场景下，可以帮助企业和研究机构更好地应用大型语言模型，提升模型性能和效率。未来，随着大型模型在各个领域的广泛应用，Cache 的重要性将不断凸显。

目前对于大语言模型评估的按照生成的结果是否可定量衡量比如数学计算和文章生成分为客观评测和主观评测。客观评测：基于业界影响力较高评测基准对生成内容进行各维度评估；主观评测：组织多位有专业背景知识的专家进行相关维度评估。

按照评测执行方式可分为自动化评测，人工评测和模型评测三类。

模型训练完成后，基于评估基准跑出评分，这个过程可以完全工程化的执行因此成为自动化评测。人工评测特别是领域知识需要着急各领域专家进行测评，此种方式评估成本较高但是评估结果更具有说服力。模型（如PandaLM）评测模型即通过训练大模型学习到人类对不同生成文本的总体偏好，并作出基于习得的人类偏好的相对评价，这种评价方式相比人工更稳定、高效。