CodeFuse 开源 C2LLM，用 “注意力池化” 刷新 MTEB-Code 榜单-低调大师

CodeFuse 开源 C2LLM，用 “注意力池化” 刷新 MTEB-Code 榜单

2026-01-14 7

写代码时，你是否也曾在大海捞针，在海量代码库中苦苦寻找一个函数或解决方案？

在 RAG-for-Code 时代，一个强大的代码 Embedding 模型就是你的“智能导航仪”。但问题是，专为自然语言设计的 Embedding 模型，在理解结构严谨、逻辑性强的代码时，常常会“水土不服”。传统的池化策略，要么是平均池化，无法充分发挥大模型潜力，要么直接使用 EOS 表征，会因信息瓶颈而丢失关键细节。a

现在，代码检索领域迎来了新的王者！

蚂蚁集团与上海交通大学继 F2LLM 后再度联手，重磅推出 C2LLM (Contrastive Code Large Language Models) 系列模型。我们通过基于注意力的创新池化机制，精准解决了代码表征的痛点，一举登顶权威代码榜单 MTEB-Code。

最重要的是，C2LLM 作为 CodeFuse Embedding 开源家族的第四位成员，将继续秉承开放精神，将模型权重、技术报告、使用方式全套回馈社区，希望能为代码大模型的研发提供一个更强的基线！

✨ C2LLM 核心亮点一览

**🏆 登顶榜首：**C2LLM-7B 在权威的 MTEB-Code 代码榜单上力压群雄，总分排名第一，超越包括闭源模型在内的一众强手
**👑 小模型之王：**C2LLM-0.5B 在 1B 以下尺寸模型中勇夺桂冠，性能甚至超越了许多 7B 参数量的模型，是轻量化部署的绝佳选择
**💡 独创架构：**创新性地将注意力池化（PMA）引入代码 Embedding，让模型学会“抓重点”，告别信息瓶颈
**💯 完全开源：**模型权重、训练细节以及使用方式全部开放，方便社区复现与二次开发

话不多说，直接上数据，感受 C2LLM 在 MTEB-Code 榜单上的王者表现：

💡 C2LLM 的独家秘方：会“抓重点”的注意力池化

如此卓越的性能背后，是我们在模型架构上的大胆创新。

我们发现，对于代码这种长序列、结构化的数据，传统的池化方法存在天然缺陷：

**平均池化 (Mean Pooling)：**像“大锅饭”，粗暴地将所有 Token 信息平均，无法体现代码中函数签名、关键逻辑等核心部分的重要性。
**EOS 池化 (End-of-Sequence Pooling)：**将所有信息压缩到最后一个 Token，容易造成“信息瓶颈”，对于动辄上千行的代码文件尤其致命。

为了解决这个难题，我们为 C2LLM 引入了一个轻量而强大的模块——**注意力池化 (PMA, Pooling by Multihead Attention) **。

你可以把 PMA 想象成给模型配上了一位聪明的“项目经理”。这位经理（一个可学习的查询向量）会审阅所有员工（代码 Token）的工作报告，然后根据当前的项目目标（检索任务），智能地为不同部分分配权重，提炼出最核心的信息，最终形成一份高度浓缩、直击要点的最终报告（也就是代码 Embedding）。

这种设计的优势显而易见：

**精准聚合：**模型能自主学习哪些代码部分（如函数定义、核心算法）对于理解代码意图最关键。
**保留潜力：**完美兼容 Qwen2.5-Coder 等先进代码大模型的因果注意力结构，充分释放其预训练能力。
**灵活高效：**在几乎不增加计算开销的同时，还能灵活控制输出的 Embedding 维度，对向量数据库非常友好。

📊 实力霸榜！MTEB-Code 成绩见真章

是骡子是马，拉出来遛遛！在被广泛认可的 MTEB-Code 榜单上，C2LLM 家族用实力证明了一切。该榜单包含 12 项不同的代码检索任务，全面考察模型的综合能力。

C2LLM-7B：总分高达 80.75，在所有开源和闭源模型中排名第一，尤其在面向代码的复杂自然语言查询任务上表现出色。
**C2LLM-0.5B：**以 75.46 的高分，不仅在 1B 以下模型中一骑绝尘，更是超越了 Qwen3-Embed-0.6B、INF-Retriever-7B 等更大参数的模型。

这一成绩充分证明，通过先进的架构设计，我们可以在不依赖海量私有数据的情况下，实现代码表征能力的巨大飞跃。

🚀 立即体验 C2LLM！

我们相信，开放是推动技术进步的最佳燃料。C2LLM 的所有成果现已开放，欢迎大家使用、研究和反馈！

**📄 论文链接:**https://arxiv.org/abs/2512.21332
💻 GitHub 代码库: https://github.com/codefuse-ai/CodeFuse-Embeddings
🤗 Hugging Face 模型: https://huggingface.co/collections/codefuse-ai/codefuse-embeddings

期待 C2LLM 能成为你下一个 AI for Code 项目的得力干将，也欢迎社区在此基础上构建更强大的模型！

🌟 彩蛋预告：更全、更强的 CodeFuse Embedding 模型即将亮相

开源不息，进化不止。感谢社区一直以来对 CodeFuse 的支持与厚爱！

我们在此也提前向大家透露一个好消息：性能更强悍、语言支持更丰富的新版 C2LLM 和 F2LLM 已经在加急研发中！我们致力于打造全能的 Embedding 模型，让 AI 能理解每一种自然语言和编程语言，让每一位开发者都能在海量代码中“精准导航”。代码智能的未来，邀您一同见证，敬请关注！

关于我们

我们是蚂蚁集团智能平台工程的全模态代码算法团队。C2LLM 是我们继 D2LLM、E2LLM、F2LLM 之后，在 CodeFuse Embedding 开源模型系列的又一力作。

团队成立3年以来，在 ACL、EMNLP、ICLR、NeurIPS、ICML 等顶级会议发表论文20余篇，两次获得蚂蚁技术最高奖 T-Star，1次蚂蚁集团最高奖 SuperMA，CodeFuse 项目连续两年蝉联学术开源先锋项目。团队常年招聘研究型实习生，有志于 NLP、大模型、多模态、图神经网络的同学欢迎联系 hyu.hugo@antgroup.com，期待科研路上与你同行！

如果您想更快地获取到最新信息，欢迎加入我们的微信群。

企业用户如有需求，加入群聊时还可私聊“CodeFuse服务助手”联系解决方案专家~

微信关注我们

原文链接：https://my.oschina.net/u/6942768/blog/19203616

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

DeepSeek 母公司幻方量化去年收益 56.6%，助力新模型研发

据《华尔街见闻》援引私募排排网数据报道，梁文锋旗下、DeepSeek 母公司幻方量化基金在去年录得平均 56.6% 的收益率，管理规模超过 700 亿元人民币，在管理规模超 100 亿元的量化基金中排名第二，仅次于灵均投资超过 70% 的收益表现。报道指出，这一成绩与其在 2024 年全面退出市场中性策略、转向纯多头产品线的战略调整密切相关。排排网数据显示，联合创始人徐进管理的产品平均收益达 58.6%，CEO 陆政管理的八只产品平均涨幅为 56%，其中股票策略夏普比率高达 2.8，位列头部量化机构前列。强劲的基金回报也直接增强了 DeepSeek 的研发底气。DeepSeek 于 2023 年由幻方孵化，梁文锋持有多数股权。业内人士指出，基金的高额管理费与业绩提成可能带来超过 7 亿美元的收入，远超 DeepSeek 早前披露的不足 600 万美元的模型研发预算。这意味着 DeepSeek 在算力采购、团队扩张等方面将获得更强的资源保障。据此前报道，DeepSeek 预计将在春节前后推出新一代大模型 DeepSeek V4，编程能力有望超越当前行业标杆模型。

2026-01-14

1

人工智能公司 Anthropic 宣布与 Python Software Foundation（PSF）建立为期两年的战略合作关系，向该基金会投入总计 150 万美元资金，重点用于强化 Python 生态系统的安全性建设。据介绍，此次资金投入的核心目标是推动开源软件安全创新。Anthropic 的支持将用于推进 PSF 的安全路线图，包括：开发自动化安全检测工具，对上传至 Python 包管理平台 PyPI 的所有软件包进行主动式审查，大幅提升当前以被动响应为主的审核流程；构建包含已知恶意软件样本的新型数据集，帮助设计更精准、更有效的检测与防护机制；这些成果不仅限于 Python 生态，还可能推广至其他开源软件仓库的安全防护体系。该计划将由 PSF 安全开发负责人 Seth Larson 的路线图指导，结合 PyPI 安全工程师 Mike Fiedler 的执行力量共同推进。除了安全专项外，Anthropic 的资金还将支持 PSF 的基础性工作，包括：资助 Developer in Residence 项目，促进对 CPython 核心代码的贡献；支持社区项目、开...

2026-01-14

7

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。