2025 年 12 月 31 日, RWKV7 G1c 系列推理模型开源发布,目前已发布 G1c 13.3B/7.2B/2.9B 模型。
RWKV 模型名称的 G1/G1a/G2 等等代表训练数据的版本。您可在同一参数永远选择日期最新的模型,获得最佳效果。
由于 G1c 系列的预训练质量可靠,您通过 State-tuning 可轻松高效完成复杂任务。
例如,社区开发者顾真牛,用 7000 条数据对 G1c 2.9B 模型做 state-tuning,实现复杂的 agent 角色扮演:
- 自动多次 function call 链式调用 + CoT
- 多角色 + 多语言 + 融入可驱动 3D 虚拟形象的语言和动作
![state-tuning-case]()
图中使用了顾真牛自定义的对话和指令格式。
您可使用您喜欢的任何格式,使用少量数据做 state-tuning 就可以让模型学会。
模型性能评估
Uncheatable Eval 评测
Uncheatable Eval 使用最新的论文/新闻/代码/小说等实时数据,测试压缩率(“压缩即智能”),评估基底语言模型的真实语言建模能力和泛化能力。
新版 Uncheatable Eval 提升测试难度,加入更多 github 和 arxiv 数据,且增加了测试文本长度。
![uncheatable-14B]()
![uncheatable-7B]()
![uncheatable-3B]()
我们发现,RWKV 系列模型在 uncheatable eval 的成绩随时间持续提升,没有任何停滞或减缓。
因此,我们可在每月持续发布最新最强模型。
![uncheatable-curve]()
MMLU & MMLU PRO
![MMLU&MMLUPro]()
GSM8K & MATH500
![GSM8K&MATH500]()
HumanEval(pass@1) & MBPP(pass@1)
![HumanEval (pass@1)&MBPP(pass@1)]()
分类平均分:
![G1c-benchmark-score]()
评测细节(您可通过 https://github.com/rwkv-rs/rwkv-skills 复现):
![all_benchmark]()
这里测试的都是 RWKV 基模。我们尚未开始刷榜,且许多项目尚未调优。今年 RWKV 在所有榜单会显著更强,看齐一线 Transformer 模型。
模型实战
下面是以 FP16 精度推理 G1c 2.9B :
![Plan-Case]()
下面是在 RWKV Chat App 使用 QNN W4A16 量化的 G1c 2.9B 模型。目前量化仍然显著降智,我们今年稍后会加入 QAT 解决。
方案设计:
![PigFarm-Case]()
代码问题:
![Code-Case]()
数学问题:
![Math-Case]()
模型下载
下载 RWKV7 G1c 系列 模型(.pth 格式):
其他格式:
如何使用 RWKV 模型
在线体验
魔搭平台在线 demo:
Hugging Face 平台在线 demo:
本地部署
可以使用 RWKV Runner、Ai00、RWKV pip 等推理工具本地部署 RWKV 模型。
推荐使用目前最快的推理方式 Albatross:https://github.com/BlinkDL/Albatross,以及基于 Albatross 的 RWKV 并发推理后端 rwkv_lightning(兼容 OAI 格式的 API):https://github.com/RWKV-Vibe/rwkv_lightning
此外,RWKV 模型也适配了 llama.cpp、Ollama 等热门的模型推理工具。
由于 RWKV7 G1c 系列 是新模型,目前建议使用 RWKV Runner 以保证得到正确结果。
可以在 RWKV 官网 - 模型推理教程中查看上述推理工具的使用教程。
加入 RWKV 社区
欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。
欢迎大家基于 RWKV-7 进行创业、科研,我们也会为基于 RWKV 的项目提供技术支持。
如果您的团队正在基于 RWKV 创业或开展研究,请联系我们!(在“RWKV元始智能”微信公众号留言您的联系方式,或发送邮件到“contact@rwkvos.com”。)