大家好，《RWKV 社区最新动态》迎来了第三期内容，本期统计了 RWKV 社区 7 月的重要动态，一起来看看吧！

省流版本：

1. RWKV 官方公告
   • RWKV-6-World 14B 模型已发布
   • RWKV 中文官网 rwkv.cn 正式上线
2. RWKV 社区新项目
   • RWKV RAG：一键式 RWKV RAG 本地搭建项目，实现了最小封装和极高的扩展性
   • RWKV-Keras：RWKV 的 Keras 实现，支持 RWKV 模型和 State 的推理和训练
   • rwkv6-keras-operator：RWKV6 模块的 RWKV 核算子，已发 PIP 包
   • RWKV Runner：更新版本并启动易用性改版计划，正在招募前端贡献者
3. RWKV 的新学术研究：
   • GoldFinch：RWKV/Transformer 混合模型架构
   • Restore-RWKV：RWKV 医学图像修复模型
   • Decision-RWKV：基于 RWKV 模型的机器人终身学习算法
4. 8 月预告：RWKV 的小说微调模型（7B、14B）正在训练中，有望在 8 月发布！

RWKV 官方动态

RWKV-6-World 14B 开源发布

2024 年 7 月 19 日，RWKV 开源基金会宣布正式向全球开源 RWKV-6-World 14B 模型。

RWKV-6-World 14B 是迄今最强的稠密纯 RNN 大语言模型。在最新的性能测试中，该模型英文性能相当于 Llama2 13b。在同参数的模型评测中，RWKV-6-World 14B 的多语言性能显著最强，且支持全球 100+种语言和代码。

在“无法作弊的模型评测” Uncheatable Eval 排行榜中，RWKV-6-World 14B 的综合评测分数比 llama2 13B 和 Qwen1.5 14B 更强。

RWKV 中文官网正式上线

RWKV 中文官网（rwkv.cn）正式上线了，RWKV 中文官网目前有四大板块，分别是首页、生态页、资讯页，以及 RWKV 中文文档页面。

你可以在 RWKV 中文官网找到关于 RWKV 的绝大多数信息，包括但不限于 RWKV 架构的介绍、RWKV 多模态等研究和相关论文、RWKV 的本地部署和推理教程、RWKV 的全参/微调训练教程，以及 RWKV 最新新闻动态等信息。

RWKV 社区的新项目/更新

RWKV RAG 项目

RWKV_RAG 是 RWKV 的本地 RAG 项目，实现了傻瓜式的本地 RWKV RAG 系统搭建流程。

RWKV_RAG 架构实现了实现了最小封装和高扩展性：所有功能异步化且无封装，想怎么调接口就怎么调接口。

此外，RWKV_RAG 已支持带图形化界面的 LoRA、State tuning、Pissa 等主流 RWKV 微调方法，可以一键微调以适应任何下游任务。

RWKV_RAG 很快会适配多模态和知识图谱功能，敬请期待！

RWKV-RAG 仓库地址： https://github.com/AIIRWKV/RWKV_RAG

RWKV6-Keras

RWKV6-Keras 项目是基于 RWKV 模型的 Keras 实现，由 RWKV 社区的 infiy-quine 兴趣组牵头开发，基于 bert4keras3 和 RWKV6_Keras 算子两个项目。

除了支持训练和推理 RWKV 模型，RWKV6-Keras 还支持 RWKV State 的训练和推理。

以下是 RWKV6-Keras 基于不同后端的生成速度对比：

对比测试显示，更推荐使用 jax 作为 RWKV6-Keras 后端，以获得最佳性能。

RWKV6-Keras 模型下载：https://www.modelscope.cn/models/q935499957/RWKV6-1.6B-Keras

rwkv6-keras-operator 项目

rwkv6-keras-operator 是一个适用于 bert4keras3 库中 RWKV6 模块的 RWKV 核算子，这个算子在 jax、pytorch 框架提供了原生 CUDA 实现，但对于 TensorFlow 框架只提供基本的上层 api 实现。

• RWKV6_Keras 算子 pip 包地址：https://pypi.org/project/rwkv6-keras-operator
• GitHub 仓库：https://github.com/infiy-quine/RWKV6_Keras_Operator

rwkv.cpp 新增 RWKV-6 支持

rwkv.cpp 项目新增了对于 RWKV-6 架构的支持，这意味着 RWKV-6 模型可以在 CPU 上实现较快的推理速度。

详情可见：https://github.com/RWKV/rwkv.cpp/pull/174

在 1.8.5 版本的更新中 ，RWKV Runner 的 rwkv.cpp 模式也同步支持 RWKV-6 架构。

RWKV Runner 项目更新

1. RWKV Runner 发布 1.8.5 版本

RWKV Runner 更新到了 v1.8.5，新版本支持了开发者工具，允许用户自定义头像，并且修复了一些已知问题。

2. RWKV Runner 易用性改版

RWKV Runner 正在启动易用性改版计划，使得软件更开箱即用，对新手更友好。

易用性改版主要围绕前端板块展开，具体任务如下：

RWKV Runner 开发组正在寻找有意向参与改版的前端高手（技术栈 react, typescript, tailwindcss），以加快改版的进度。如果您有意向参与到改版计划，欢迎在“RWKV元始智能”公众号后台留言“改版计划”，我们将第一时间联系您。

Runner API 指南

RWKV 社区发布了关于 RWKV Runner API 的详细用法。文章列出 RWKV Runner 每一个 API 的作用、请求主体的参考结构、必需字段和可选字段等内容，帮助大家更轻松、更灵活地调用 RWKV Runner 的 API。

Runner API 使用指南：https://mp.weixin.qq.com/s/ZU9vpBa6cRMe-0PmrZkJew

RWKV 学术研究相关

格灵深瞳开源 RWKV-CLIP 模型

格灵深瞳近日在 WiseModel 平台上开源了 RWKV-CLIP 模型，RWKV-CLIP （Contrastive Language-Image Pre-training）是一个 RWKV 驱动的视觉语言表示学习模型，该框架可以利用大型语言模型（LLMs）来合成和细化基于网络的文本、合成标题和检测标签的内容。

• RWKV-CLIP 模型下载：https://wisemodel.cn/models/deepglint/RWKV-CLIP/file

RWKV-CLIP 更多链接：

• RWKV-CLIP GitHub 仓库：https://github.com/deepglint/RWKV-CLIP
• RWKV-CLIP 论文地址：https://arxiv.org/abs/2406.06973

Restore-RWKV

Restore-RWKV 是首个基于 RWKV 的医学图像修复模型。文章提出了一种循环 WKV(Re-WKV)注意力机制，该机制以线性计算复杂度捕获全局依赖关系。Restore-RWKV 在各种医学图像修复任务中均具有卓越的性能，包括 MRI 图像超分辨率、CT 图像去噪 PET 图像合成和一体化医学图像修复。

相关链接：

• Restore-RWKV 论文地址：https://arxiv.org/abs/2407.11087
• Restore-RWKV GitHub 仓库：https://github.com/Yaziwel/Restore-RWKV

GoldRWKV

GoldFinch 是一种 RWKV/Transformer 混合序列模型，将新的 GOLD transformer 叠加在 Finch(RWKV-6) 架构的增强版本之上，有效地在线性时间和空间中生成高度压缩和可重用的 KV-Cache。相对于 1.5B 参数的 Finch 和 Llama 模型而言，GoldFinch 的建模性能显着提高。

相关链接：

• GoldFinch 论文地址：https://arxiv.org/abs/2407.12077
• GoldFinch GitHub 仓库：https://github.com/recursal/GoldFinch-paper

Decision-RWKV

南方科技大学的研究团队提出了 Decision-RWKV (DRWKV) 模型，并将经验回放（experience replay）的概念与 Decision-RWKV 模型相结合，设计出适合机器人的终身学习算法。

实验结果显示 DRWKV 模型在单任务测试和终身学习场景中拥有先进的性能。与此同时， Decision-RWKV 相比 DT（Decision-Transformer）显著地减少了推理时间和内存占用，使其成为现实应用（尤其是机器人领域）的更佳选择。

相关链接：

• Decision-RWKV 论文地址：https://arxiv.org/abs/2407.16306
• Decision-RWKV GitHub 仓库：https://github.com/ancorasir/DecisionRWKV

8 月预告

RWKV 小说模型

据可靠消息，专用于写小说的 RWKV 小说微调模型（7B、14B）正在训练中，敬请期待！

关于《RWKV 社区动态》栏目

《RWKV 社区动态》栏目会不定期播报 RWKV 社区的最新消息，以帮助 RWKV 的关注者、爱好者、开发者更好地了解 RWKV 的发展情况。

《RWKV 社区最新动态》不定期更新，所以请保持关注我们的微信公众号（RWKV 元始智能）、QQ 频道（RWKV）等公开平台，以获取最新的消息。

加入 RWKV 社区

RWKV 是一种创新的深度学习网络架构，它将 Transformer 与 RNN 各自的优点相结合，同时实现高度并行化训练与高效推理。

RWKV 模型架构论文：

• RWKV-5/6（Eagle & Finch）： https://arxiv.org/abs/2404.05892

• RWKV-4：https://arxiv.org/abs/2305.13048

欢迎大家加入 RWKV 社区，可以从 RWKV 中文官网了解 RWKV 模型，也可以加入我们的 QQ 频道和群聊，一起探讨 RWKV 模型。

• RWKV 中文官网：https://rwkv.cn/
• QQ 频道：https://pd.qq.com/s/9n21eravc