RWKV7-G1 0.1B 推理模型发布,最适合嵌入式的纯血 RNN 模型
2025 年 3 月 10 日,RWKV 基金会发布第一个 RWKV-7 推理模型(Reasoning Model): RWKV7-G1 0.1B。 RWKV7-G1 系列模型拥有杰出的推理能力,且原生支持世界 100+ 种语言和代码。即使是最小的 0.1B 也能回答开放性和创造性问题。 RWKV7-G1("GooseOne")系列推理模型是基于 World v3.5 数据集继续训练 RWKV-7 "Goose" World 系列模型。 World v3.5 数据集包含更多小说、网页、数学、代码和 reasoning 数据,总数据为 5.16T tokens。对于 0.1B 模型,我们会随机采样其中的 1T tokens 训练。 目前我们已能在手机高通 8gen3 以 62 token/s 推理 RWKV-7 1.5B 模型,而 0.1B 模型在树莓派也能跑得挺快,欢迎做嵌入式的朋友加入 RWKV 技术群讨论。 模型表现 RWKV7-G1 0.1B 模型回答 simulate SpaceX mars landing using python(使用 python 模拟 SpaceX 火星...

