谷歌发布代码大模型 CodeGemma

谷歌发布了用于辅助编程的代码大模型 CodeGemma。CodeGemma 基于谷歌今年 2 月发布的轻量级开源大模型 Gemma，针对 Gemma 的两个不同参数规模的版本 Gemma 2B 和 Gemma 7B 发布了 CodeGemma 2B 和 CodeGemma 7B（有预训练和指令微调两种）。

因此 CodeGemma 有 3 个模型变体：

• 7B 预训练变体，专门用于补全代码以及利用代码前缀和/或后缀生成代码

• 70 亿指令微调变体，用于自然语言到代码的聊天和指令遵循

• 先进的 2B 预训练变体，代码补全速度快至 2 倍

CodeGemma 可以执行各种编码任务，例如填充中间代码补全、代码生成、自然语言理解、数学推理和指令遵循。

CodeGemma 具有多项优势：

• 智能代码补全和生成：无论您是在本地工作，还是使用 Google Cloud 资源，都可以填写整行、函数，甚至生成整块代码块。
• 准确性更高：CodeGemma 模型基于 Web 文档、数学和代码中的 5000 亿个词元（主要是英语）数据训练而成，生成的代码不仅语法正确，而且语义上也更有意义，从而减少错误并缩短调试时间。
• 多语言水平：支持 Python、JavaScript、Java、Kotlin、C++、C#、Rust、Go 和其他语言。
• 简化工作流：将 CodeGemma 模型集成到开发环境中，可以减少编写样板代码的工作量，更快地专注于有趣且与众不同的代码。

CodeGemma 模型权重可以在 HuggingFace 下载：
https://huggingface.co/collections/google/codegemma-release-66152ac7b683e2667abdee11

CodeGemma 论文：
https://storage.googleapis.com/deepmind-media/gemma/codegemma_report.pdf