代码检索新王登基！CodeFuse开源C2LLM，用“注意力池化”刷新MTEB-Code榜单-低调大师

代码检索新王登基！CodeFuse开源C2LLM，用“注意力池化”刷新MTEB-Code榜单

2026-01-13 6

写代码时，你是否也曾在大海捞针，在海量代码库中苦苦寻找一个函数或解决方案？

在 RAG-for-Code 时代，一个强大的代码 Embedding 模型就是你的“智能导航仪”。但问题是，专为自然语言设计的 Embedding 模型，在理解结构严谨、逻辑性强的代码时，常常会“水土不服”。传统的池化策略，要么是平均池化，无法充分发挥大模型潜力，要么直接使用 EOS 表征，会因信息瓶颈而丢失关键细节。a

现在，代码检索领域迎来了新的王者！

蚂蚁集团与上海交通大学继 F2LLM 后再度联手，重磅推出 C2LLM (Contrastive Code Large Language Models) 系列模型。我们通过基于注意力的创新池化机制，精准解决了代码表征的痛点，一举登顶权威代码榜单 MTEB-Code。

最重要的是，C2LLM 作为 CodeFuse Embedding 开源家族的第四位成员，将继续秉承开放精神，将模型权重、技术报告、使用方式全套回馈社区，希望能为代码大模型的研发提供一个更强的基线！

✨ C2LLM 核心亮点一览

**🏆 登顶榜首：**C2LLM-7B 在权威的 MTEB-Code 代码榜单上力压群雄，总分排名第一，超越包括闭源模型在内的一众强手
**👑 小模型之王：**C2LLM-0.5B 在 1B 以下尺寸模型中勇夺桂冠，性能甚至超越了许多 7B 参数量的模型，是轻量化部署的绝佳选择
**💡 独创架构：**创新性地将注意力池化（PMA）引入代码 Embedding，让模型学会“抓重点”，告别信息瓶颈
**💯 完全开源：**模型权重、训练细节以及使用方式全部开放，方便社区复现与二次开发

话不多说，直接上数据，感受 C2LLM 在 MTEB-Code 榜单上的王者表现：

💡 C2LLM 的独家秘方：会“抓重点”的注意力池化

如此卓越的性能背后，是我们在模型架构上的大胆创新。

我们发现，对于代码这种长序列、结构化的数据，传统的池化方法存在天然缺陷：

**平均池化 (Mean Pooling)：**像“大锅饭”，粗暴地将所有 Token 信息平均，无法体现代码中函数签名、关键逻辑等核心部分的重要性。
**EOS 池化 (End-of-Sequence Pooling)：**将所有信息压缩到最后一个 Token，容易造成“信息瓶颈”，对于动辄上千行的代码文件尤其致命。

为了解决这个难题，我们为 C2LLM 引入了一个轻量而强大的模块——**注意力池化 (PMA, Pooling by Multihead Attention) **。

你可以把 PMA 想象成给模型配上了一位聪明的“项目经理”。这位经理（一个可学习的查询向量）会审阅所有员工（代码 Token）的工作报告，然后根据当前的项目目标（检索任务），智能地为不同部分分配权重，提炼出最核心的信息，最终形成一份高度浓缩、直击要点的最终报告（也就是代码 Embedding）。

这种设计的优势显而易见：

**精准聚合：**模型能自主学习哪些代码部分（如函数定义、核心算法）对于理解代码意图最关键。
**保留潜力：**完美兼容 Qwen2.5-Coder 等先进代码大模型的因果注意力结构，充分释放其预训练能力。
**灵活高效：**在几乎不增加计算开销的同时，还能灵活控制输出的 Embedding 维度，对向量数据库非常友好。

📊 实力霸榜！MTEB-Code 成绩见真章

是骡子是马，拉出来遛遛！在被广泛认可的 MTEB-Code 榜单上，C2LLM 家族用实力证明了一切。该榜单包含 12 项不同的代码检索任务，全面考察模型的综合能力。

C2LLM-7B：总分高达 80.75，在所有开源和闭源模型中排名第一，尤其在面向代码的复杂自然语言查询任务上表现出色。
**C2LLM-0.5B：**以 75.46 的高分，不仅在 1B 以下模型中一骑绝尘，更是超越了 Qwen3-Embed-0.6B、INF-Retriever-7B 等更大参数的模型。

这一成绩充分证明，通过先进的架构设计，我们可以在不依赖海量私有数据的情况下，实现代码表征能力的巨大飞跃。

🚀 立即体验 C2LLM！

我们相信，开放是推动技术进步的最佳燃料。C2LLM 的所有成果现已开放，欢迎大家使用、研究和反馈！

**📄 论文链接:**https://arxiv.org/abs/2512.21332
💻 GitHub 代码库: https://github.com/codefuse-ai/CodeFuse-Embeddings
🤗 Hugging Face 模型: https://huggingface.co/collections/codefuse-ai/codefuse-embeddings

期待 C2LLM 能成为你下一个 AI for Code 项目的得力干将，也欢迎社区在此基础上构建更强大的模型！

🌟 彩蛋预告：更全、更强的 CodeFuse Embedding 模型即将亮相

开源不息，进化不止。感谢社区一直以来对 CodeFuse 的支持与厚爱！

我们在此也提前向大家透露一个好消息：性能更强悍、语言支持更丰富的新版 C2LLM 和 F2LLM 已经在加急研发中！我们致力于打造全能的 Embedding 模型，让 AI 能理解每一种自然语言和编程语言，让每一位开发者都能在海量代码中“精准导航”。代码智能的未来，邀您一同见证，敬请关注！

关于我们

我们是蚂蚁集团智能平台工程的全模态代码算法团队。C2LLM 是我们继 D2LLM、E2LLM、F2LLM 之后，在 CodeFuse Embedding 开源模型系列的又一力作。

团队成立3年以来，在 ACL、EMNLP、ICLR、NeurIPS、ICML 等顶级会议发表论文20余篇，两次获得蚂蚁技术最高奖 T-Star，1次蚂蚁集团最高奖 SuperMA，CodeFuse 项目连续两年蝉联学术开源先锋项目。团队常年招聘研究型实习生，有志于 NLP、大模型、多模态、图神经网络的同学欢迎联系 hyu.hugo@antgroup.com，期待科研路上与你同行！

如果您想更快地获取到最新信息，欢迎加入我们的微信群。

企业用户如有需求，加入群聊时还可私聊“CodeFuse服务助手”联系解决方案专家~

微信关注我们

原文链接：https://my.oschina.net/u/6942768/blog/19203616

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

KuiTest：基于大模型通识的UI交互遍历测试

美团质效技术部联合复旦大学周扬帆教授团队推出KuiTest——零规则UI功能性异常测试工具。KuiTest通过将“人类预期”直接用作Test Oracle，解决了长期以来UI测试Oracle泛化性差的自动化痛点。实验表明，KuiTest异常召回率达86%，误报率仅1.2%，已在执行21万+测试用例，发现百余例有效缺陷，大幅降低人工成本并提升测试覆盖率。 1 背景近来，随着 App 的功能愈发复杂，UI（用户界面）的交互逻辑也随之多样化。为了保障用户体验，针对 UI 的功能测试一直是质量保障中的重要环节。传统的 UI 功能测试往往依赖于人工编写的测试脚本或规则体系：通过手动编写校验逻辑来验证交互是否正确。这种方式虽然精确，但成本高昂，维护困难。对美团而言，一个 App 就有可能包含上千种 UI 界面、数万个交互操作。随着业务快速迭代、界面频繁调整、底层平台（如 Android、iOS、HarmonyOS NEXT）的更新，基于规则的测试脚本常常失效。每当脚本失效，测试工程师都需要花费大量时间重新绑定元素、修复规则脚本，极大地提升了测试自动化的开销。此外，当下的 UI 功能缺陷通常并...

2026-01-13

6

AAAI 是人工智能领域顶级的国际学术会议，本文精选了美团技术团队被收录的8篇学术论文（附下载链接），覆盖大模型推理、退火策略、过程奖励模型、强化学习、视觉文本渲染等多个技术领域，希望这些论文能对大家有所帮助或启发。 01 Promoting Efficient Reasoning with Verifiable Stepwise Reward 论文类型：Poster 论文下载：PDF 论文简介：大推理模型通过强化学习提升了链式推理能力，但输出冗长，导致推理开销增大和用户体验下降，即「过度思考」问题。针对这一现象，本文提出了可验证的过程奖励机制（VSRM），通过奖励有效步骤、惩戒无效步骤，优化模型推理过程。VSRM首先通过特殊token划分推理步骤，并结合三条规则保证每个步骤的内容可读性。各步骤通过插入token生成子轨迹，模型根据每步前后正确率变化分配步骤级奖励。为避免奖励信号稀疏，引入前瞻窗口机制，通过折扣因子传播未来正确率变化，使奖励更密集。实验表明，VSRM能大幅缩减输出长度，且在多种数学benchmark和不同模型、算法下保持甚至提升性能。消融实验证明前瞻窗口机制有效，...

2026-01-13

4

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。