北大开源 aiXcoder-7B 最强代码大模型
源自北京大学软件工程研究所的 aiXcoder 团队宣布,推出全新自研 aiXcoder-7B 代码大模型;聚焦真实开发场景,专为企业私有部署设计。其中,aiXcoder-7B Base 版将开源共享给开发者,并陆续在 Github、Gitee、Gitlink 等平台上线。
公告称,在多个主流评估标准评测集中,无论是代码生成、代码补全还是跨文件上下文代码生成效果,aiXcoder-7B模型均有极佳表现,甚至超越参数量大5倍的34B代码大模型,已达到当前SOTA水准,堪称最适于实际编程场景的基础模型。
在 HumanEval(由 164道Python编程问题组成)、MBPP(由974个 Python编程问题组成)和 MultiPL-E(包含了18种编程语言)等主流代码生成效果评估测试集上,aiXcoder 7B 准确率显著超越当前同级别代码大模型。
在Santacoder(Ben Allal et al., 2023) 提出的考虑上下文补全评测集上,aiXcoder-7B Base版在与 StarCoder 2、CodeLlama 7B/13B、DeepSeekCoder 7B 等主流同量级开源模型的较量中取得了综合最佳效果。
为了进一步精细地评测代码大模型在代码补全上的能力,aiXcoder 构建了一个比SantaCoder数据量更大,被测代码多样性更高、被测代码上下文长度更长、更接近实际开发项目的评测集 (16000多条来自真实开发场景的数据),在此测评集上aiXcoder-7B 同样效果最好。
同时aiXcoder-7B 表现出了相较于其他代码大模型的又一大亮点,即倾向于使用较短代码来完成用户指定的任务。在针对Java、C++、JavaScript和Python编程语言的代码补全测评时,aiXcoder 7B Base不仅效果最好,四处红框圈出的生成答案长度明显短于其他模型,并且非常接近于标准答案长度(Ref)。
在 CrossCodeEval 测评集上,aiXcoder-7B一举拿下了同级别模型的最好效果:
在真实开发场景中,aiXcoder-7B模型具有更多优势。比如预训练采用32K token的上下文长度,并且推理时可扩展至256K,能覆盖整个开发项目中的绝大部分代码;可准确判断何时需要生成新代码、何时代码逻辑已完整无需补全,直接生成完整的代码块、方法体、控制流程;可以准确地抽取项目级的上下文信息,大大降低大语言模型在预测API时产生的幻觉。
aiXcoder-7B模型训练集涵盖1.2T Unique token数据,覆盖数十种主流编程语言。aiXcoder团队在构建训练数据时,针对数十种主流编程语言进行了语法分析,过滤掉错误的代码片段,还对十多种主流语言的代码进行了静态分析,总共剔除了163种bug和197种常见代码缺陷,确保了训练数据的高质量。
为了增强模型对代码语义和结构的建模能力,aiXcoder团队采取了多种创新策略。一方面利用代码聚类和函数调用关系图的方式,捕捉多个文件之间的相互注意力关系;另一方面,将抽象语法树的结构信息融入了预训练任务中,帮助模型学习代码的语法和模式特征。
总体而言,测评发现 aiXcoder-7B 在考虑代码项目上下文这种更真实开发场景下,具有当前代码大模型中最佳的效果。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
探索未来:2023年脑机接口技术发展与应用全景报告
《脑机接口技术发展与应用研究报告(2023年)》是一份关于脑机接口技术发展与应用的研究报告,由中国信息通信研究院和脑机接口产业联盟在 2023 年 12 月发布。报告详细讨论了脑机接口技术的发展历程、当前应用、未来前景以及产业发展的挑战和机遇。 以下是报告的核心内容概述: 脑机接口技术概述: 脑机接口技术正逐渐成为推动经济社会发展和改善民生健康的重要力量。 技术主要应用于医疗领域,为多种神经相关疾病提供新的诊治方案。 脑机接口技术的潜力不仅限于医疗,还广泛应用于教育、工业、体育等多个领域。 全球发展现状: 脑机接口产业呈现欣欣向荣的态势,多国政府高度重视并出台创新政策。 发达国家在脑机接口领域的研究和投资方面处于领先地位。 新生企业增速下降,但中美两国在创新力量上集聚显著。 技术与产品创新: 报告详细介绍了脑机接口技术的关键组成部分,包括电极、芯片、神经外科手术机器人、脑电采集设备等,并讨论了这些领域的最新进展和创新。 无创光采集设备和分析设备的发展为脑机接口技术提供了新的数据采集和处理方法。 应用案例: 医疗应用仍是主流,涵盖疾病预警、诊断、治疗和功能增强等多个方面。 非医疗应用多点...
- 下一篇
干货分享|JumpServer 三种常见的文件传输方式效果对比
JumpServer开源堡垒机支持对文件的上传和下载,并对传输记录进⾏审计。JumpServer的文件传输功能是用户使用频率较高的功能,常见的文件传输方式包括:rz和sz命令方式、文件管理方式和客户端工具方式。 在使用JumpServer进行文件传输的时候,常常有用户向JumpServer开源项目组反馈出现文件大小受限、传输卡顿、传输不稳定等情况,实际上这与用户所选择的文件传输方式有一定的关系。 本文将重点对比上述三种用户常用的JumpServer文件传输方式,并且测试验证JumpServer文件传输的实际效果,以便用户后续在传输文件时能够选用更为有效的文件传输方式。希望本文对广大企业的运维人员提升日常运维管理效率有所帮助。 一、测试准备 准备以下测试环境以及测试文件: 二、不同文件传输方式测试对比 1. rz和sz命令方式 用户连接资产后,使用rz和sz命令,直接拖动文件进行文件上传/下载(秒表计时)。 分别测试不同尺寸的测试文件,传输效果如表1所示: ▲ 表1 不同尺寸的文件通过rz和sz命令传输文件的效果对比 注意: ■上传155MB大小的文件时,传输文件容易出现卡住并最终会断开...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- Hadoop3单机部署,实现最简伪集群
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS关闭SELinux安全模块
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池