RWKV7-G1 0.1B 推理模型发布,最适合嵌入式的纯血 RNN 模型
2025 年 3 月 10 日,RWKV 基金会发布第一个 RWKV-7 推理模型(Reasoning Model): RWKV7-G1 0.1B。
RWKV7-G1 系列模型拥有杰出的推理能力,且原生支持世界 100+ 种语言和代码。即使是最小的 0.1B 也能回答开放性和创造性问题。
RWKV7-G1("GooseOne")系列推理模型是基于 World v3.5 数据集继续训练 RWKV-7 "Goose" World 系列模型。
World v3.5 数据集包含更多小说、网页、数学、代码和 reasoning 数据,总数据为 5.16T tokens。对于 0.1B 模型,我们会随机采样其中的 1T tokens 训练。
目前我们已能在手机高通 8gen3 以 62 token/s 推理 RWKV-7 1.5B 模型,而 0.1B 模型在树莓派也能跑得挺快,欢迎做嵌入式的朋友加入 RWKV 技术群讨论。
模型表现
RWKV7-G1 0.1B 模型回答 simulate SpaceX mars landing using python
(使用 python 模拟 SpaceX 火星着陆)”:
日本开发者测试 RWKV7-G1 0.1B 的多语言能力:
如此小的 0.1B 模型,也能同时支持世界 100+ 种语言和代码。更大参数的 RWKV7-G1 0.4B/1.5B/2.9B 正在同时训练中。
英文和多语言测评
RWKV7-G1 0.1B 的英文和多语言能力相比 RWKV-7-World 0.1B 继续提升:
我们也对 RWKV7-G1 0.1B 进行了 “无法作弊的模型评测” Uncheatable Eval,可见 RWKV7-G1 0.1B 对于多种新数据的压缩率,显著超越所有其它同尺寸的开源模型:
Uncheatable Eval:https://huggingface.co/spaces/Jellyfish042/UncheatableEval
训练中的 RWKV7-G1 1.5B 模型
以下示例基于 RWKV7-G1-1.5B-16%trained
模型,注意这个模型目前只训练了 16%。后续 100% 训练完成的 RWKV7-G1 1.5B 会显著更强:
RWKV7-G1-1.5B-16%trained 的示例二:
训练中的 RWKV 模型可在 https://huggingface.co/BlinkDL/temp-latest-training-models/tree/main 下载。
模型试用
可以在 Hugging Face Gradio Demo 试用 RWKV7-G1 0.1B 模型。
G1 的整体 prompt 格式与 RWKV-7 模型类似,可选使用 <think>
标签开启 reasoning 功能:
User: 你不许参加学术派对! Assistant: <think>
RWKV Runner 和 Ai00 等 RWKV 推理工具正在适配 reasoning 聊天模式,因此目前只能在续写模式中体验 reasoning 功能。
模型下载
下载已完成训练的 RWKV7-G1 0.1B 模型:
- Hugging Face:https://huggingface.co/BlinkDL/rwkv7-g1/tree/main
- 魔搭社区:https://modelscope.cn/models/RWKV/rwkv7-g1/files
- WiseModel:https://wisemodel.cn/models/rwkv4fun/RWKV-7-G1/file
下载其他训练中的 RWKV7-G1 模型:
- Hugging Face:https://huggingface.co/BlinkDL/temp-latest-training-models/tree/main
- 魔搭社区:https://modelscope.cn/models/RWKV/temp-latest-training-models/files
G1 模型发布计划
当前已发布 G1 0.1B 模型,正在训练 G1 0.4B/1.5B/2.9B,具体发布计划如下:
模型 | 发布计划 |
---|---|
G1 0.1B | 3 月 8 日(已发布) |
G1 0.4B | 3 月下旬 |
G1 1.6B | 4 月 |
G1 2.9B | 5 月 |
我们也在同时准备更大更优的数据集 World v3.7,用于 G1 7B 训练。
RWKV-7 学术支持
RWKV 社区近期新增了大量 RWKV 学术研究论文,以下是截至 2025 年 2 月的 RWKV 论文数量统计表格:
欢迎大家基于 RWKV-7 进行创业、科研,我们也会为基于 RWKV 的项目提供技术支持。
如果您的团队正在基于 RWKV 创业或开展研究,请联系我们!(在“RWKV元始智能”微信公众号留言您的联系方式,或发送邮件到“contact@rwkvos.com”。)
加入 RWKV 社区
欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。
- 📖 RWKV 中文文档:https://www.rwkv.cn
- 💬 RWKV 论坛:https://community.rwkv.cn/
- 🐧 QQ 频道:https://pd.qq.com/s/9n21eravc
- 📺 BiliBili 视频教程:https://space.bilibili.com/3546689096910933

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
李想:AGI 投资远超互联网、一两年内还不具备更好的商业模式
理想汽车CEO李想近日在朋友圈分享了对AGI的一些观点,他表示,AGI所需的投资远超互联网,一两年内还不具备好的商业模式。 李想还说道,AGI 早期虽然自己不赚钱,但会破坏传统商业模式赚钱。他还提到,新技术往往从通缩开始,AGI的发展趋势不可阻挡。 理想汽车在 2024 年底举行 2024 理想 AI Talk ,李想当时曾就 AI 等话题展开对话。 他表示,理想汽车一年一百亿的研发,一半投在了人工智能上。大模型出现以后,人类会发生根本性的改变。互联网让信息平权,人工智能帮助实现认知和知识的平权。 李想还谈到了人工智能的三个阶段: 第一阶段,“增强能力”,主要起辅助作用,决策权在用户。例如 L3 自动驾驶,需要用户监督,并且负责任。 第二阶段,“我的助手”,助手角色,布置给它任务,它就可以独立完成,并对结果承担责任。例如 L4 自动驾驶,可以让它到学校帮忙接孩子等。 第三阶段,终极阶段,“硅基家人”,不需要指示、分配任务,它就是我们的家庭成员,甚至是家庭重要的组织者。它不但了解我,它还了解我的孩子,了解我身边的朋友,甚至比我还了解。 相关阅读 理想汽车多模态认知大模型 Mind GPT...
- 下一篇
奇安信:攻击 X 平台的僵尸网络与春节攻击 DeepSeek 的为同一组织
美国东部时间3月10日,埃隆·马斯克一天内遭遇了双重打击:除了特斯拉股价下跌15%、自高点几乎腰斩之外,其旗下的社交媒体X平台(原Twitter)还遭遇了大规模网络攻击,导致全球范围内多次宕机,许多用户无法正常使用该应用程序。 奇安信Xlab实验室监测发现,此次攻击所使用的僵尸网络为Mirai变种僵尸网络RapperBot,攻击时间与X平台宕机时间完全吻合,主要集中在北京时间3月10日晚10点至11日凌晨2点。与2025年春节期间攻击DeepSeek的属于同一组僵尸网络。 据称该僵尸网络常年活跃,以高强度的流量攻击闻名,平均每天攻击上百个目标,高峰时期指令上千条,能够迅速瘫痪目标服务器。攻击目标分布在巴西、白俄罗斯、俄罗斯、中国、瑞典等地区。此次攻击规模之大、烈度之猛,直接导致X平台在美国东部时间3月10日遭遇三次明显服务中断,最高时有20538名用户报告故障。 RapperBot僵尸网络并非普通黑客组织,而是对外提供有偿攻击服务的“职业打手”。其攻击规模和资源投入远超普通网络攻击,可能涉及大型组织甚至国家层面的支持。
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- 2048小游戏-低调大师作品
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS关闭SELinux安全模块