RWKV-7-0.4B 模型正式发布,社区发布多款基于 RWKV-7 的新项目!
RWKV-7-World-0.4B-v2.9 模型于 2025 年 1 月 8 日正式发布!
随着 RWKV-7 架构的发布,RWKV 社区也开源发布了多款基于 RWKV-7 的新项目,包括 RWKV-7-WebGPU Demo 和 基于 RWKV-7 架构的 CoT 黑白棋项目 “RWKV Othello”。
RWKV-7-World-0.4B 模型发布
RWKV-7-World-0.4B-v2.9 模型于 2025 年 1 月 8 日正式发布!
RWKV-7-World-0.4B 在 world-2.9(从 world-v3 数据集中采样 2T tokens)数据集上训练。其英文和多语言能力显著超越其他 0.4B 模型,且支持全球 100+ 种语言和代码。
在线 Demo
RWKV 官方和社区分别发布了在线 Demo,可在线体验 RWKV-7-World-0.4B 模型:
- Hugging Face Demo:https://huggingface.co/spaces/BlinkDL/RWKV-Gradio-1
- 社区 WebGPU Demo:https://cryscan.github.io/web-rwkv-puzzles
下载模型
RWKV-7-World-0.4B 现已上传到 Hugging Face 和 ModelScope,可从以下仓库下载:
- Hugging Face:https://huggingface.co/BlinkDL/rwkv-7-world
- ModelScope:https://modelscope.cn/models/Blink_DL/rwkv-7-world
RWKV-7-World-0.4B 生成案例
以下是 RWKV-7-World-0.4B 的生成案例(使用社区 WebGPU Demo 运行):
RWKV Othello
RWKV 社区成员 @Jellyfish042 基于 RWKV-7 架构开发了 RWKV Othello 项目。
项目 GitHub 仓库: https://github.com/Jellyfish042/RWKV_Othello
RWKV Othello 项目利用 Othello(也称为反转棋或黑白棋)的 CoT 数据训练了仅 8.8M 参数的 RWKV-7-Othello 模型。
RWKV-7-Othello 模型可以和人类或其他模型自动对战 Othello 游戏,且在与人类对战时实现了非常高的胜率。
test time scaling
RWKV-7-Othello 模型支持两种推理模式:关闭搜索和开启搜索。
关闭搜索时,模型会直接预测最佳走法;开启搜索后, RWKV Othello 模型会根据搜索配置进行 cot,而且思考的 token 数越多,棋力越强(获胜概率增大)。
以下是不同的搜索配置与基线模型(深度=1,宽度=1)进行比较,测试不同搜索树深度和宽度的获胜率(模型: rwkv7_othello_26m_L10_D448_extended ,每个数据点包含 100 局游戏):
RWKV Othello 项目证明 RWKV 模型的恒定资源占用特效在做 CoT 项目时有独特的优势,同时也展示 RWKV 模型在游戏策略和决策任务中的应用潜力。
RWKV WebGPU Demo
无需下载任何应用,在浏览器中运行 RWKV-7-World 模型进行对话、解 15 谜题、音乐作曲,以及可视化查看 state 变化!
基于 web-rwkv 的 RWKV WebGPU Demo 实现了在浏览器中本地运行 RWKV-7 模型!加载模型后,模型将在浏览器中离线运行,不需要任何服务器通信。
对话功能
在 chat 界面选择一个 RWKV-7-World 模型(0.1B 或 0.4B),点击 Load Model 按钮,即可下载并运行模型进行对话。
也可以从本地目录拖动一个 RWKV-7-World 模型到灰框内运行,省略下载的过程。
解 15 谜题
15 谜题(也叫数字推盘游戏或 15 数码)是一个经典的滑块益智游戏,玩家需要在一个 4x4 的方格中放置 1-15 数字并留一个空格,然后通过滑动数字将数字按顺序排列。
在 Demo 的 15 puzzle 界面点击 New Game
按钮,可以设置一局全新的 15 谜题。
点击 start
按钮,WebGPU Demo 会运行 RWKV-puzzle15 模型自动解开当前的 15 谜题,左侧则显示模型的 CoT 推理过程。
RWKV 作曲功能
在 Demo 的 Music 界面,可以驱动 RWKV ABC 模型进行作曲。操作步骤:
- 点击
Load Model
按钮下载作曲模型 - 点击
prompt
下拉框选择一个 ABC 格式的 prompt - 点击
Generate Music
按钮,开始作曲
更多作曲模型,请查看:
- RWKV-5 作曲模型:https://modelscope.cn/models/RWKV/rwkv-5-music
- RWKV-4 作曲模型:https://modelscope.cn/models/RWKV/rwkv-4-music
State 可视化
在 Demo 的 State Replay 界面,可以查看 RWKV 作为 RNN 模型的隐藏状态演变。
State Replay 功能需要提前在 chat 界面启动一个 RWKV 模型。
下图是对 RWKV-7-World-0.1B 模型输入 “你好” 后,模型的隐藏状态演化。
RWKV-7-World-0.1B 的设计是 L12-D768,所以我们可以在 State Replay 中查看模型 12 层的状态演化,每层按照 $64×64$ 维度(一个 head)划分为 12 个可视化小方格。
小方格的颜色解释:
- 深蓝色:较低值或接近负数的数值
- 黄色:较高值或接近正数的数值
- 灰色或黑色:数值接近 0
加入 RWKV 社区
RWKV 是一种创新的深度学习网络架构,它结合了 Transformer 与 RNN 的优点,同时实现高度并行化训练与高效推理。
- RWKV 中文官网(包括大量RWKV多模态论文):https://rwkv.cn/
- RWKV 英文官网:https://rwkv.com/
- RWKV-5/6(Eagle & Finch)论文: https://arxiv.org/abs/2404.05892
- RWKV-4 论文: https://arxiv.org/abs/2305.13048
欢迎大家加入 RWKV 社区!您可从 RWKV 官网了解 RWKV 模型,也可加入我们的 QQ 频道和群聊,一起探讨 RWKV 模型。
RWKV-7-World-1.5B 预计在一月底发布, RWKV-7-World-2.9B 预计将于二月初发布。请关注我们的公众号“RWKV元始智能”,第一时间获取 RWKV 动态!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
用 AI 辅助编程快速打造软件原型的最佳实践
吴恩达老师分享的用 AI 辅助编程快速打造软件原型的最佳实践。 以下内容为其推文转译: 使用 AI 辅助编程来构建软件原型,是快速探索各种创意并发明新事物的重要方式。在这篇文章以及后续的帖子中,我想与大家分享一些构建简单 Web 应用原型的最佳实践。本篇文章将聚焦一个核心理念:选择并熟悉一个“有主见”的软件技术栈。 我个人所使用的技术栈几乎每隔几周就会变化一次。市面上还有很多不错的替代方案,如果你能选定一个偏好的技术栈,并熟悉它的各个组成部分,你的开发速度就会大大提高。以下是我目前默认使用的组合,供大家参考: Python + FastAPI 构建 Web API我主要使用 Python,因此对我而言是顺理成章的选择。假如你是 JavaScript/TypeScript 开发者,你或许会有不同的偏好。FastAPI 让我能非常轻松地在 Python 中部署可扩展的 Web 服务(API)。 Uvicorn 作为本地测试时的后端应用服务器在我的笔记本上运行并执行代码、提供网页服务时,我会使用 Uvicorn。 云端部署:Heroku(适合小型应用)或 AWS Elastic Beanst...
- 下一篇
OpenAI 已开始组建其机器人团队
OpenAI 技术人员、前 Meta AR 眼镜负责人 Caitlin Kalinowski 日前在 X 上发布了一条消息,宣布该公司正在招聘首批硬件机器人职位。 其中包括一名系统集成电气工程师、一名机械机器人产品工程师,以及机器人团队的一名 TPM 经理。 “我们的机器人团队致力于解锁通用机器人技术,并在动态的现实环境中推动 AG 级智能。通过在整个模型堆栈上开展工作,我们集成了尖端硬件和软件,以探索各种机器人外形。我们努力将高级 AI 功能与物理约束无缝融合。 ” Kalinowski 在两个多月前官宣加入 OpenAI, “领导机器人和消费硬件技术”。此前有消息称,OpenAI 一直与苹果前首席设计师 Jony Ive合作研发硬件,此外该公司还与机器人初创公司 Figure 合作,为后者的人形机器人提供模型。 Kalinowski 发布的新帖子和招聘启事标志着该公司迄今为止在打造自己的机器人部门方面所做的最认真、最重大的投资,并可能最终意味着它将与 Figure 展开竞争。
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- CentOS7安装Docker,走上虚拟化容器引擎之路
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS8安装Docker,最新的服务器搭配容器使用
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Red5直播服务器,属于Java语言的直播服务器
- CentOS6,CentOS7官方镜像安装Oracle11G