Goose 起飞！RWKV 社区三月新增 14 篇学术论文和若干多模态项目
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 3 月的最新动态。
只需 3 分钟，快速了解 RWKV 社区 3 月都有哪些新鲜事！
3 月动态省流版（TL;DR）
- RWKV 学术研究动态
- 新论文：RWKV-7 "Goose"（RWKV-7 架构论文）
- 新论文：ChemRB（RWKV 分子生成模型）
- 新论文：LALIC（RWKV 图像压缩）
- 新论文：TabulaTime（RWKV 急性冠状动脉综合征预测）
- 新论文：Delta-WKV（RWKV 磁共振成像超分辨率）
- 新论文：SRCNet（RWKV 水下图像增强）
- 新论文：ID-RWKV（RWKV 图像去雨）
- 新论文：HFE-RWKV（RWKV 医学图像分割）
- 新论文：RWKVMatch（RWKV 医学图像配准）
- 新论文：Flare-RWKV（RWKV 图像去光晕）
- 新论文：LASTGCN（RWKV 交通流预测）
- 新论文：PathRWKV（RWKV 医学影像分析）
- 新论文：CMGN（RWKV 假新闻检测）
- 新论文：BlackGoose Rimer（RWKV 时序预测）
- RWKV 模型新闻动态
- 新模型：RWKV7-G1 0.1B/0.4B
- 更大的 RWKV7-G1 正在训练中
- RWKV 社区活动
- RWKV 团队参加 NVDIA GTC 2025
- RWKV 社区项目动态
- RWKV 端侧 APP 发布并开源
- 新项目：WorldRWKV（RWKV 多模态）
- 新项目：RWKV-TTS（RWKV 文本转音频）
RWKV 学术研究动态
RWKV 学术研究包括 基于 RWKV 架构的新论文 或 RWKV 社区参加的学术研究。
RWKV-7 "Goose"
- 论文名称：RWKV-7 "Goose" with Expressive Dynamic State Evolution
- 论文链接：https://arxiv.org/abs/2503.14456
- 发布日期：2025-03-19
论文提出 RWKV-7 "Goose"，一种新的序列建模架构。
通过引入广义 Delta Rule 等一系列优化，RWKV-7 的语言建模能力在所有开源 3B 规模模型中达到 SoTA 水平，计算效率、任务表现和模型表达力全面超越 Transformer 和过去的 RWKV-6 架构。
ChemRB
- 论文名称：ChemRB: a novel generative model based on bidirectional molecular ring constraints
- 论文链接：https://jsnu.magtech.com.cn/CN/10.15983/j.cnki.jsnu.2025005
- 发布日期：2025-01-10
论文提出了一种名为 ChemRB 的新型生成模型，用于药物发现中的分子设计，通过双向分子环约束解决现有单向编码器的局限性。
通过整合 RWKV 机制，ChemRB 将 RNN 的线性计算效率与 Transformer 的上下文感知相结合，有效捕获 SMILES 序列中的长程依赖性。该模型引入两个预训练任务 ------ 环级特征预测和全局跨度闭合预测，以提升分子有效性，尤其针对复杂环系统。
实验结果表明，ChemRB 在生成有效、唯一且新颖的分子方面表现卓越，优于基准数据集上的先进模型。此外，其在 EGFR 抑制剂重新设计中的应用验证了其实用性，展现出高结合亲和力与结构保真度。
LALIC
- 论文名称：Linear Attention Modeling for Learned Image Compression
- 论文链接：https://arxiv.org/abs/2502.05741
- 发布日期：2025-02-09
论文提出 LALIC，一种基于线性注意力的学习图像压缩框架，利用 Bi-RWKV 块实现高效紧凑的特征提取。
通过结合 Spatial Mix 和 Channel Mix 模块以及基于卷积的 Omni-Shift 机制，LALIC 将 RWKV 的线性复杂度注意力适配至二维潜在表示。此外，新型 RWKV-SCCTX 上下文模型增强了空间-通道依赖建模，改进了熵编码性能。
实验表明，该方法在 Kodak、Tecnick 和 CLIC 数据集上的 BD-rate 分别超越 VTM-9.1 达 -14.84%、-15.20% 和 -17.32%，性能达到前沿水平。该研究首次将 RWKV 的双向注意力引入图像压缩，在全局上下文建模与低计算开销间取得平衡。
TabulaTime
- 论文名称：TabulaTime: A Novel Multimodal Deep Learning Framework for Advancing Acute Coronary Syndrome Prediction through Environmental and Clinical Data Integration
- 论文链接：https://arxiv.org/abs/2502.17049
- 发布日期：2025-02-24
论文提出 TabulaTime，一种新型多模态深度学习框架，整合临床和环境时序数据以提升急性冠状动脉综合征（ACS）预测。
核心创新包括 PatchRWKV 模块，该模块结合循环神经网络（RNN）和注意力机制，以线性计算复杂度高效提取时序特征，在捕捉时序依赖上优于 Transformer、LSTM 等先进模型。
实验显示，其准确率较传统方法提升 20.5%，突显了整合空气污染数据的重要性。框架通过注意力机制增强可解释性，识别出收缩压、PM₁₀等关键预测因子。
Delta-WKV
- 论文名称：Delta-WKV: A Novel Meta-in-Context Learner for MRI Super-Resolution
- 论文链接：https://arxiv.org/abs/2502.20852
- 发布日期：2025-02-28
论文提出 Delta-WKV，一种新型线性 Transformer 模型，用于 MRI 超分辨率。
该模型结合元上下文学习（MiCL）和 Delta 规则，在推理过程中动态调整权重，以高效识别局部和全局模式。受 RWKV 启发，Delta-WKV 使用具有时间混合和通道混合结构的四向扫描机制来捕获长距离依赖关系，同时保持高频细节。
在 IXI 和 fastMRI 数据集上的测试表明，Delta-WKV 优于现有方法，将 PSNR 提高了 0.06dB，将 SSIM 提高了 0.001，同时将训练和推理时间减少了 15% 以上。
SRCNet
- 论文名称：Toward Comprehensive Semantic Prompt for Region Contrastive Learning Underwater Image Enhancement
- 论文链接：https://ieeexplore.ieee.org/abstract/document/10888780
- 发布日期：2025-03-07
论文提出 SRCNet，一种融合语义引导和区域对比学习的水下图像增强网络。
该方法创新性地设计了语义感知 RWKV 模块，在保留 RWKV 架构全局感知能力的同时，通过语义提示机制维护区域色彩一致性和结构细节。通过将 RWKV 的高效注意力机制与语义感知约束相结合，有效减少了水下不同区域间的无效像素干扰。创新的区域对比学习策略通过多视角负样本利用，增强了退化敏感特征的学习能力。
实验结果表明该方法在色彩还原和细节恢复方面优于现有最优方法。
ID-RWKV
- 论文名称：ID-RWKV: Image Deraining RWK
- 论文链接：https://ieeexplore.ieee.org/abstract/document/10889384
- 发布日期：2025-03-07
论文提出 ID-RWKV， 一种基于线性复杂度 RWKV 架构的图像去雨方法，以解决 Transformer 二次计算复杂度的局限性。
通过用 RWKV 块替代自注意力机制，结合局部-全局双向 WKV（LG-WKV）增强空间特征建模，并设计多阶段 U 型网络渐进去雨。引入傅里叶增强模块和深浅层特征融合模块（DSFFM）减少背景信息丢失。
实验表明，该方法在合成与真实数据集上优于主流 Transformer 模型，且参数量（12.38M）和计算量（60.2G FLOPs）更低，验证了 RWKV 在二维视觉任务中的高效性。
HFE-RWKV
- 论文名称：HFE-RWKV: High-Frequency Enhanced RWKV Model for Efficient Left Ventricle Segmentation in Pediatric Echocardiograms
- 论文链接：https://ieeexplore.ieee.org/abstract/document/10888300
- 发布日期：2025-03-07
论文提出高频增强 RWKV（HFE-RWKV），通过改造 RWKV 的高效循环架构并增强高频特征，用于儿科超声心动图的左心室分割。
该模型重新设计 RWKV 的空间混合模块以强化边界相关的高频成分，并引入空间-频率一致性损失函数，在保持计算效率的同时实现更精准的形状感知分割。
相比 U-Mamba，HFE-RWKV 以仅 67% 的参数和 26% 计算量将 Dice 分数提升 2%，证明了 RWKV 在需要精度与资源效率的医学影像任务中的适应性。
RWKVMatch
- 论文名称：RWKVMatch: Vision RWKV-based Multi-scale Feature Matching Network for Unsupervised Deformable Medical Image Registration
- 论文链接：https://ieeexplore.ieee.org/abstract/document/10888484
- 发布日期：2025-03-07
论文提出 RWKVMatch，一种基于 Vision-RWKV 的可变形医学图像配准框架，融合全局注意力与跨模态特征融合机制。通过将 RWKV 扩展为 3D 视觉模块，在保持线性计算复杂度的同时有效捕捉三维医学图像空间特征。
结合弹性形变数据增强策略，该模型在脑部 MRI 数据集（LPBA40/IXI）上取得最优性能，LPBA40 数据集 DSC 达 0.704，雅可比负值率仅 0.154%，验证了 RWKV 在配准精度与计算效率方面的优势。
Flare-RWKV
- 论文名称：Flare-Aware RWKV for Flare Removal
- 论文链接：https://ieeexplore.ieee.org/abstract/document/10888487
- 发布日期：2025-03-07
论文提出 Flare-RWKV，一种基于 RWKV 的新型架构，用于去除图像中的镜头光晕。
该方法通过结合轻量级光晕检测网络与基于 RWKV 的修复网络（利用其线性复杂度的 attention 机制捕捉全局依赖关系，以及增强局部上下文感知的 token 移位机制），解决了光晕消除任务中的特定挑战。核心创新包括 Flare-Aware 特征选择（FAFS），利用检测到的光晕掩码优先重建背景区域。
相比 UNet 和 Transformer 变体，Flare-RWKV 在合成与真实数据集上表现更优，同时保持参数高效性，验证了 RWKV 在光晕去除任务中的有效性。
LASTGCN
- 论文名称：Linear attention based spatiotemporal multi graph GCN for traffic flow prediction
- 论文链接：https://www.nature.com/articles/s41598-025-93179-y
- 发布日期：2025-03-10
论文提出 LASTGCN 模型，用于交通流预测.
结合多因素融合单元（MFF-unit）动态整合气象数据、多图卷积网络捕捉空间关联，以及线性注意力机制 RWKV 模块。RWKV 替代传统 Transformer 注意力，通过线性计算降低复杂度，高效捕获交通序列的长期依赖，兼具可并行训练与类 RNN 推理优势，适用于中短期交通管理。
在真实数据集（PeMSD）实验中，模型精度与鲁棒性优于现有方法，长期预测表现突出，气象等外部因素集成进一步提升了预测效果。
PathRWKV
- 论文名称：PathRWKV: Enabling Whole Slide Prediction with Recurrent-Transformer
- 论文链接：https://arxiv.org/abs/2503.03199
- 发布日期：2025-03-05
论文提出 PathRWKV，一种用于计算病理学中全玻片图像（WSI）分析的新型循环-Transformer 混合模型。
针对可变切片规模处理、模型复杂性和训练-推理平衡的挑战，PathRWKV 融合动态循环结构以实现全切片建模，并采用 RWKV 的线性注意力机制降低计算成本并缓解过拟合。多任务学习联合优化异构临床指标以提升训练效率，异步推理设计则支持预测阶段对所有切片的序列化处理。
在七大 WSI 数据集评估中，PathRWKV 在癌症分型、转移检测及生存预测等任务中表现优于现有方法，展现了其在病理学应用中的卓越泛化性和可扩展性。
CMGN
- 论文名称：CMGN: Text GNN and RWKV MLP-mixer combined with cross-feature fusion for fake news detection
- 论文链接：https://www.sciencedirect.com/science/article/abs/pii/S0925231225004837
- 发布日期：2025-03-12
论文提出了一种新型跨特征融合网络 CMGN，结合文本图神经网络（GNN）与 RWKV MLP-mixer 用于假新闻检测。
RWKV MLP-mixer 通过 MLP 层替代自注意力机制处理新闻文本以提取深层语义特征，而 Text GNN 将附加文本（如标题、地点）建模为图节点关系。跨特征融合机制动态整合多模态特征。消融实验验证了 RWKV 在特征提取中的关键作用。该模型通过图关系建模与 RWKV 的高效序列处理，推动了假新闻检测的进步。
在 LIAR、FA-KES、IFND 和 CHEF 数据集上的实验表明，CMGN 优于现有方法。
BlackGoose Rimer
- 论文名称：BlackGoose Rimer: Harnessing RWKV-7 as a Simple yet Superior Replacement for Transformers in Large-Scale Time Series Modeling
- 论文链接：https://arxiv.org/abs/2503.06121
- 发布日期：2025-03-08
论文提出将 RWKV-7 架构融入时间序列模型 Timer 中，通过其时间混合和通道混合组件提升性能。
实验表明，新方法在多个数据集上实现了 1.13x 至 43.3x 的性能提升，训练时间减少 4.5 倍，且参数仅为原模型的 1/23。该成果为大规模时间序列建模提供了高效、轻量级的解决方案。
RWKV 模型新闻动态
我们正在基于 World v3.5 数据集继续训练 RWKV-7 "Goose" 系列模型（0.1B/0.4B/1.6B/2.9B），并命名为 RWKV7-G1（"GooseOne"）系列推理模型。经测试，G1 0.4B 模型就能完成难度较高的多语言和代码任务。
当前已发布两个 G1 系列模型，详细请看：
正在训练 G1 1.5B/2.9B，具体发布计划如下：
| 模型 | 发布状态 | 发布计划 |
|---|---|---|
| G1 0.1B | 已发布 | 3 月 8 日（已发布） |
| G1 0.4B | 已发布 | 3 月 25 日（已发布） |
| G1 1.6B | 未发布 | 4 月 25 日 |
| G1 2.9B | 未发布 | 5 月中旬 |
社区活动
太平洋时间 2025 年 3 月 17 日- 21 日，全球人工智能大会 "NVIDIA GTC 2025" 在美国加州圣何塞正式举行。
RWKV 团队在 NVIDIA GTC 的 Poster Reception 展示并讲解了 RWKV-7 架构的最新进展。
更多信息可查看：RWKV-7 亮相 NVIDIA GTC
社区项目动态
RWKV 端侧 APP
RWKV 端侧 APP 发布并开源，Android 和 iOS 端均可体验本地部署推理的多个版本 RWKV-7 模型；经测试，RWKV-7 1.5B 模型在搭载高通 8Gen3 的手机实现 62 token/s 的推理速度，G1 0.1B 更是高达 170 token/s。
- 开源地址：https://github.com/SolomonLeon/web-rwkv-realweb
- Android 版 APP 下载地址：https://www.pgyer.com/rwkvchat
- iOS 版 APP 下载地址：https://testflight.apple.com/join/DaMqCNKh
WorldRWKV
WorldRWKV 是纯 RWKV7 架构的多模态项目，目标是用纯 RWKV7 架构实现任意模态训练推理；现在我们可以使用 encoder 来任意切换模态的输入并输出文本。未来逐步实现端到端的跨模态推理，并且使用 RWKV7 来探索 World Model 的雏形。
- 开源地址：https://github.com/JL-er/WorldRWKV
- WorldRWKV 模型仓库：https://huggingface.co/WorldRWKV
RWKV-TTS
RWKV-TTS 是基于 RWKV 架构的 TTS（文本转音频）模型，传统的 TTS 模型包含 VQ VAE 和 LLM 两部分，该项目专注于训练基于 RWKV 架构的 LLM 来替换之前的音频模型中的 LLM 部分。目前已经支持中英日韩四种语言。
