RWKV7-G1a 2.9B 推理模型开源发布,继续推进纯 RNN 模型的思考能力

2025 年 9 月 24 日, RWKV7-G1a 2.9B 推理模型开源发布,继续推进纯 RNN 模型的思考能力。

RWKV7-G1a 2.9B 从 RWKV7-G1 2.9B 继续训练 1T tokens 高质量数据,显著提升各方面能力。

模型客观指标评测

英语和多语言能力

RWKV7-G1a 2.9B 的基础英语和多语言能力均强于同规模的开源模型:

eval

作为纯预训练的基底模型,无“刷榜”,RWKV7-G1a 2.9B 的 MMLU 提升到 61.1%,MMLU Pro 提升到 31.5%(RWKV7-G1 2.9B 的 MMLU 为 58.0%,MMLU Pro 为 25.8%)。

无法作弊的评测

Uncheatable Eval 是"无法作弊的评测",它使用最新的论文/新闻/代码/小说等实时数据,测试压缩率(“压缩即智能”),评估基底语言模型的真实语言建模能力和泛化能力。

RWKV7-G1a 2.9B 的 Uncheatable Eval 继续提升,领先所有 3B 参数量开源模型。

Uncheatable Eval

模型实战

多语言能力

翻译问题推荐使用保守的解码参数,此处为:temp=0.2,topp=0.2,presence=0,frequency=0,decay=0.996

RWKV7-G1a 2.9B 同时做多语言翻译:

代码

代码问题推荐使用保守的解码参数,此处为:temp=0.3,topp=0.3,presence=0,frequency=0,decay=0.996

求解最长公共子序列:

设计 LRU 缓存:

数学

数学问题推荐使用保守的解码参数,此处为:temp=0.3,topp=0.3,presence=0,frequency=0,decay=0.996

抛物线问题:

多项式问题:

物理

物理问题推荐使用保守的解码参数,此处为:temp=0.3,topp=0.3,presence=0,frequency=0,decay=0.996

计算火星的重力加速度:

创作

创作问题推荐使用开放的解码参数,此处为:temp=0.6,topp=0.7,presence=2,frequency=0.2,decay=0.99(注意是0.99)

古诗创作:

模型下载

下载 RWKV7-G1a 2.9B 模型:

如何使用 RWKV 模型

我们提供了多个 RWKV-7 模型的在线 demo,也提供本地部署的教程。

在线 demo(聊天模式)

为了方便社区体验 RWKV-G1a 模型,我们提供了聊天模式的在线 demo。

这个 RWKV 对话界面由 RWKV 社区成员 @Leon 开发,并在 GitHub 仓库 web-rwkv-realweb 中开源。

在线 demo(续写模式)

可以在 RWKV 官方 Demo 中试用 RWKV7-G1a 2.9B 模型:

RWKV7-G1a 2.9B 也支持另一种推理风格(支持长度控制),见:RWKV7-G1a 1.5B 开源发布,新推理风格和长度控制,效果显著增强

本地部署

可以使用 RWKV Runner、Ai00、RWKV pip 等推理工具本地部署 RWKV 模型。

此外,RWKV 模型也适配了 llama.cpp、ollama 等热门的模型推理工具。

由于 RWKV7-G1a 2.9B 是新模型,目前建议使用 RWKV Runner 以保证得到正确结果。

可以在 RWKV 官网 - 模型推理教程中查看上述推理工具的使用教程。

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。

欢迎大家基于 RWKV-7 进行创业、科研,我们也会为基于 RWKV 的项目提供技术支持。

如果您的团队正在基于 RWKV 创业或开展研究,请联系我们!(在“RWKV元始智能”微信公众号留言您的联系方式,或发送邮件到“contact@rwkvos.com”。)

优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/375510

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
Mario,低调大师唯一一个Java游戏作品

Mario,低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。