开源 AI 代码生成器 PolyCoder：擅长 C 语言，优于 Codex-低调大师

开源 AI 代码生成器 PolyCoder：擅长 C 语言，优于 Codex

2022-03-10 593

卡内基梅隆大学的研究人员推出了一个开源的自动代码生成器模型 PolyCoder，具有 27B 参数，基于 GPT-2 架构，在一台机器上对跨越 12 种编程语言的 249GB 代码进行了训练。训练结果表明，在 C 编程语言中，PolyCoder 优于包括 Codex 在内的所有模型。

“最近，代码的大型语言模型（LM）在完成代码和从自然语言描述中合成代码方面显示出巨大的前景。然而，目前最先进的代码 LM（如 Codex）并没有公开提供，留下许多关于他们的模型和数据设计决策的疑问。我们的目标是通过对各种编程语言中最大的现有模型的系统评估来填补其中的一些空白：Codex、GPT-J、GPT-Neo、GPT-NeoX20B 和 CodeParrot。尽管 Codex 本身不是开源的，但我们发现现有的开源模型在一些编程语言中确实取得了接近的结果，虽然主要针对的是自然语言建模。我们进一步确定了一个重要的缺失部分，即专门在多语言的代码语料库中训练的大型开源模型。”

研究人员指出，OpenAI 的 Codex 于去年 8 月发布，可通过微软拥有的 GitHub 的 Copilot 工具获得；但它通过黑盒 API 调用提供对模型输出的“non-free access”，模型的权重和训练数据并不可用。DeepMind 声称其最近发布的 AlphaCode 代码生成器在人类参与的编程比赛中排名前 54.3%，但是训练这个模型需却要在谷歌的数据中心进行"hundreds of petaFLOPS days"的训练。

“尽管大型语言代码模型取得了巨大成功，但最强的模型都尚未公开。这阻止了这些模型在资源充足的公司之外的应用，并限制了资源匮乏的组织在这一领域的研究。”

为了解决这一问题，他们推出了 PolyCoder。该模型使用来自 GitHub 的多个存储库的数据进行训练，涵盖 12 种流行的编程语言：C、C#、C++、Go、Java、JavaScript、PHP、Python、Ruby、Rust、Scala 和 TypeScript。未经过滤的数据集总共有 631GB 的数据和 3890 万个文件。此外，为了训练 PolyCoder，研究人员选择了 GPT-2（因为预算有限）。

不过虽然 PolyCoder 在 C 语言方面的表现优于所有模型，但 Codex 在其他语言方面仍然要胜过 PolyCoder。

“值得注意的是，PolyCoder 在 C 语言方面优于 Codex 和所有其他模型。在比较单独的开源模型时，PolyCoder 在 C、JavaScript、Rust、Scala 和 TypeScript 方面的表现比类似规模的 GPT-Neo 2.7B 更好。在除 C 语言以外的其他 11 种语言中，所有其他开源模型，包括我们的，都明显比 Codex 差（higher perplexity）。”

详情可查看：https://arxiv.org/pdf/2202.13169.pdf

微信关注我们

原文链接：https://www.oschina.net/news/185793/open-source-ai-code-generator-polycoder

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

ControlFlag —— 基于机器学习的代码检测工具

ControlFlag 是一个自监督的特殊模式检测系统，它通过从开源存储库（在 GitHub 和其他版本控制系统上）挖掘这些模式来学习高级编程语言（如 C/C++）控制结构中出现的典型模式。然后应用学习到的模式来检测用户代码中的异常模式。简要技术说明 ControlFlag 的模式异常检测系统可用于解决各种问题，例如排版错误检测、标记缺失的 NULL 检查等等。下图显示了 ControlFlag 的两个主要阶段：（1）模式挖掘阶段，以及（2）异常模式扫描阶段。模式挖掘阶段是一个“训练阶段”，它在用户提供的 GitHub 仓库中挖掘典型模式，然后从挖掘的模式中构建决策树。另一方面，扫描阶段应用挖掘的模式来标记用户指定的目标仓库中的异常表达式。目录结构（不断发展） src: 用于排版错误检测系统的 ControlFlag 的源代码 scripts: 用于模式挖掘和扫描异常的脚本 quick_start：运行快速启动测试的脚本 github：用于下载 GitHub 仓库的脚本和数据。它还包含预处理的训练数据，其中包含使用 C 作为主要语言从 6000 个 GitHub 仓库中挖掘的模式...

2022-03-10

560

几天前，Rust internal 社区出现了一个名为 “请停止在发行公告和 Rust 官方渠道发表立场或非专业声明”的帖子，帖子由一位叫 “HuaguoShan” 的成员发布，这位成员在阅览 Rust 1.59 发行公告时，发现该版本的发行公告夹杂着一些带政治立场的段落： HuaguoShan” 对此表达了自己的担忧和建议：不应在技术文章中夹杂非技术的内容（如政治、女权、种族等各类运动），技术内容和非技术声明应当在不同的板块中进行公告。作为示例，“HuaguoShan” 引用了VueJS 的 PR。在该 PR 中，Vue 作者尤雨溪坚称“每个人都可以以个人的名义支持乌克兰，但 Vue 作为一个开源项目不该成为政治信息的载体”，进而拒绝了在 Vue 中公开声明支持乌克兰的请求。然而，该 Vue 示例并不准确，因为 HuaguoShan 并不是呼吁 Rust 社区保持中立，在俄乌问题上保持沉默。只是觉得如果 Rust 社区真的想作为一个组织在一些非技术问题上采取立场，则应该以 Rust 官方的非技术渠道发布声明，而不是在技术博客中夹杂政治私货。此外，这类政治声明应该让社区中的每个人都参...

2022-03-10

513

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。