RWKV 社区七月动态：RWKV7-G0 7.2B 模型发布，8 篇高质量论文
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 7 月的最新动态。
只需 3 分钟，快速了解 RWKV 社区 7 月都有哪些新鲜事！
7 月动态省流版（TL;DR）
-
RWKV 模型新闻动态
- RWKV7-G0 7.2B 发布，这可能是迄今为止人类训练过的最强纯 RNN 语言模型
- RWKV7-G1a 0.1B 发布，增强数据后有明显提升
- RWKV7a-G1b 0.1B 正在训练，加入了 DeepEmbed 技术，总参数 0.9B
-
RWKV 学术研究动态
- 新论文：AuroraLong: Bringing RNNs Back to Efficient Open-Ended Video Understanding（基于 RWKV 的视频理解，已入选 ICCV 2025）
- 新论文：An Efficient Image Fusion Network Exploiting Unifying Language and Mask Guidance（基于 RWKV 的图像融合，已入选 IEEE TPAMI）
- 新论文：U-RWKV: Lightweight medical image segmentation with direction-adaptive RWKV（基于 RWKV 的医学图像分割，已入选 MICCAI 2025）
- 新论文：DEVR: Train an Efficient Vision-RWKV Model with Improved Knowledge Distillation（基于 RWKV 的高效视觉模型，已入选 ICIC 2025）
- 新论文：EvRWKV: A RWKV Framework for Effective Event-guided Low-Light Image Enhancement（基于 RWKV 低光增强）
- 新论文：Scaling Context Requires Rethinking Attention（基于 RWKV 的架构优化方案）
- 新论文：DRWKV: Focusing on Object Edges for Low-Light Image Enhancement（基于 RWKV 的低光图像增强）
- 新论文：LowKeyEMG: Electromyographic typing with a reduced keyset（基于 RWKV 的辅助人机交互系统）
-
RWKV 社区项目动态
- Mini-RWKV-V7(基于 RWKV-V7 的一个 34M 参数的语言模型)
-
RWKV 社区市场活动
-
移远通信宣布与 RWKV 建立全面合作关系
RWKV 模型新闻动态
RWKV7-G0 7.2B 发布
2025 年 7 月 22 日， RWKV7-G0 7.2B 推理模型（Reasoning Model）正式开源发布，它很可能是迄今为止人类训练过的最强纯 RNN 语言模型，可以解决不少数学题。
详细报道 ：RWKV7-G0 7.2B 发布，最强纯 RNN 推理模型
RWKV7-G1a 0.1B 发布
2025 年 7 月 28 日，RWKV7-G1a 0.1B 推理模型（Reasoning Model）正式开源发布，相对 RWKV-G1 0.1B 增加了 1T token 的优质训练数据，各项指标有明显提升。
RWKV7a-G1b 0.1B 正在训练
我们正在训练加入 DeepEmbed 技术 的 RWKV7a-G1b 0.1B（总参数 0.9B）。目前它相对于 RWKV7 的 loss 正在稳定下降。
RWKV 学术研究动态
RWKV 学术研究包括基于 RWKV 架构的新论文 或 RWKV 社区参加的学术研究。
AURORA LONG
- 论文名称：AuroraLong: Bringing RNNs Back to Efficient Open-Ended Video Understanding
- 论文链接：https://arxiv.org/abs/2507.02591
- 发布日期：2025-07-03
本文基于 RWKV 模型提出了 AURORA LONG，通过将 MLLMs 中的 LLM 组件替换为 RWKV 模型，以恒定大小的隐藏状态处理任意长度的输入序列。研究结合视觉令牌合并，通过按大小升序重新排列视觉令牌，显著提高了处理效率。AURORA LONG 在多个视频基准测试中表现出与基于 Transformer 的模型相当的性能，同时降低了算力消耗。
该论文的模型十分精妙，已入选 ICCV 2025。
RWKVFusion
- 论文名称：An Efficient Image Fusion Network Exploiting Unifying Language and Mask Guidance
- 论文链接：https://ieeexplore.ieee.org/abstract/document/11091495
- 发布日期：2025-07-23
本文基于 RWKV 模型提出 RWKVFusion 框架，利用语言描述和语义掩码指导图像融合过程。该方法通过高效扫描策略将 RWKV 适配为双向版本，并引入多模态融合模块促进信息交换，构建轻量级网络以降低计算成本。在可见红外、多曝光等图像融合任务中实现了最先进的性能。
该论文的框架十分有效，已入选 IEEE TPAMI。
U-RWKV
- 论文名称：U-RWKV: Lightweight medical image segmentation with direction-adaptive RWKV
- 论文链接：https://arxiv.org/abs/2507.11415
- 发布日期：2025-07-15
本文基于 RWKV 模型提出 U-RWKV 框架，用于轻量级医学图像分割。该框架引入方向自适应 RWKV 模块 (DARM) 和阶段自适应挤压-激励模块 (SASE)，高效建模长距离依赖并减少方向偏差，在资源受限环境中实现高性能分割。实验验证了其优越的计算效率和分割精度。
论文在医学分割上有出色的表现，已入选 MICCAI 2025。
DEVR
- 论文名称：DEVR: Train an Efficient Vision-RWKV Model with Improved Knowledge Distillation
- 论文链接：https://link.springer.com/chapter/10.1007/978-981-96-9794-6_29
- 发布日期：2025-07-15
本文基于 RWKV 模型提出了一种高效的视觉模型 DEVR，通过改进知识蒸馏方法。重新设计了 RWKV 块以增强通道特征和空间信息捕获，并引入结合对比学习和蒸馏的损失函数，分阶段对齐特征空间。实验表明，DEVR 在图像分类、检测和分割任务中优于现有模型，计算成本更低、速度更快。
论文在图像领域有优秀的表现，已被 ICIC 2025 收录。
EvRWKV
- 论文名称：EvRWKV: A RWKV Framework for Effective Event-guided Low-Light Image Enhancement
- 论文链接：https://arxiv.org/abs/2507.03184
- 发布日期：2025-07-01
本文基于 RWKV 模型提出 EvRWKV 框架，通过双域处理实现事件与图像的连续跨模态交互。该框架采用 Cross-RWKV 模块进行细粒度时空融合，结合 EISFE 模块实现自适应频域噪声抑制与空域形变卷积对齐。在真实低光数据集上的实验表明，该方法能有效抑制噪声、恢复结构细节并提升视觉清晰度，达到 SOTA 性能。
Scaling Context Requires Rethinking Attention
- 论文名称：Scaling Context Requires Rethinking Attention
- 论文链接：https://arxiv.org/abs/2507.04239
- 发布日期：2025-07-06
本文基于 RWKV 模型提出了 power attention 优化方案，一种线性成本的序列建模层，通过独立调整状态大小解决长上下文训练问题。实验显示其在上下文学习中优于指数和线性注意力，并开发高效 GPU 内核实现速度提升。
DRWKV
- 论文名称：DRWKV: Focusing on Object Edges for Low-Light Image Enhancement
- 论文链接：https://arxiv.org/abs/2507.18594
- 发布日期：2025-07-24
本文基于 RWKV 模型提出了 DRWKV 模型，整合全局边缘 Retinex (GER) 理论以解耦光照与边缘结构，引入演化 WKV 注意力机制增强空间连续性。实验表明，该模型在多个低光增强基准测试中取得领先的 PSNR、SSIM 和 NIQE 分数，同时保持低计算复杂度。
LowKeyEMG
- 论文名称：LowKeyEMG: Electromyographic typing with a reduced keyset
- 论文链接：https://arxiv.org/abs/2507.19736
- 发布日期：2025-07-26
本文基于 RWKV 模型开发了 LowKeyEMG 系统，用于通过表面肌电信号实现高效文本输入。该系统仅使用 7 个手势键，结合语言模型优化文本重建，在实时实验中达到平均 23.3 词/分钟的输入速度，手势效率提升 17%，top-3 单词准确率达 99.2%。
社区项目动态
Mini-RWKV-V7
项目基于 RWKV-V7 架构训练了一个 34M 参数量的语言模型 Mini-RWKV-V7-LM-34M 。它在保持轻量的同时，具备良好的语言理解和生成能力，非常适合资源极其有限的设备部署和快速迭代开发，并且同时支持预训练和有监督微调。
社区市场活动
RWKV 团队亮相 2025 世界人工智能大会
7月26日，RWKV 携全球领先的大模型架构 RWKV-7 亮相 2025 世界人工智能大会暨人工智能全球治理高级别会议（以下简称 " WAIC 2025"），并首次公开了 RWKV-7s 架构。元始智能作为企业代表向国务院总理李强、上海市委书记陈吉宁介绍 RWKV 架构、生态和产业化近况。 
详细报道 ：WAIC首日 | RWKV-7s 新型高效大模型架构正式亮相
同日，承接 RWKV-7 优势的 RWKV-7s 新型高效大模型架构凭借其原创的 DeepEmbed 和 DeepEmbedAttention 技术，成为现场焦点并荣获 WAIC"镇馆之宝-未来之星"称号 。 
详细报道 ：全新高效模型架构！RWKV-7s闪耀WAIC
移远通信宣布与 RWKV 建立全面合作关系
7月26日，移远通信宣布与 RWKV 建立全面合作关系 ，双方将依托移远的算力平台，优化并支持RWKV最新模型架构，共同推动大模型在端侧设备的低资源占用部署。 
详细报道 ：端侧大模型迎来"轻"革命！移远通信 × RWKV 打造"轻量AI大脑"
加入 RWKV 社区
欢迎大家加入 RWKV 社区，可以从 RWKV 中文官网了解 RWKV 模型，也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊，一起探讨 RWKV 模型。
- 📖 RWKV 中文文档：https://www.rwkv.cn
- 💬 RWKV 论坛：https://community.rwkv.cn/
- 🐧 QQ 频道：https://pd.qq.com/s/9n21eravc | QQ 交流群：224287095
- 📺 BiliBili 视频教程：https://space.bilibili.com/3546689096910933
