RWKV 社区动态 2025 年 1 月
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 1 月的最新动态。
只需 3 分钟，快速了解 RWKV 社区 1 月都有哪些新鲜事！
1 月动态省流版（TL;DR）
-
RWKV 学术研究动态
- 新论文： Rate-Aware Learned Speech Compression（RWKV 语音压缩）
- 新论文： RWKV-UNet（RWKV 医学图像分割）
- 新论文： FSSC（RWKV 触觉传感跨域适应）
- 新论文： TRP（RWKV 知识图谱补全）
- 新论文： TCVADS（RWKV 视频异常检测）
- 新论文： RWKV Voice Dialog System（RWKV 语音对话系统）
- 新论文： Visualrwkv-Hm（RWKV 视觉语言模型）
- 新论文： AutoGMM-RWKV（RWKV 无线传感器网络安全）
- 新论文： Revenge of the Fallen?（RWKV 语言理解对比研究）
- 新论文： Enhancing Transformer RNNs（RWKV 多时间视角增强）
-
RWKV 模型新闻动态
- 新模型： RKWV-7-1.5B
- 新模型： RKWV-7-0.4B
-
RWKV 社区活动
- RWKV 创始人闭门会开启报名
-
RWKV 社区项目动态
- RWKV Othello
RWKV 学术研究动态
RWKV 学术研究包括基于 RWKV 架构的新论文或 RWKV 社区参加的学术研究。
Rate-Aware Learned Speech Compression
- 论文名称：Rate-Aware Learned Speech Compression
- 论文链接：https://arxiv.org/abs/2501.11999
- 发布日期：2025-01-21
这篇论文提出了一种基于通道感知熵模型的学习语音压缩方案，该方案通过替换传统的量化器来增强率失真性能。它利用多尺度卷积和RWKV混合块来提高编码器和解码器的表示能力。
实验结果表明，与现有编解码器相比，提出的方法在比特率节省和声学质量指标方面取得了显著改善。
RWKV-UNet
- 论文名称：RWKV-UNet: Improving UNet with Long-Range Cooperation for Effective Medical Image Segmentation
- 论文链接：https://arxiv.org/abs/2501.08458
- 发布日期：2025-01-14
论文提出 RWKV-UNet，它将 RWKV 结构融入 U-Net 用于医学图像分割。通过 IR-RWKV 模块增强长距离依赖捕获能力，结合 CCM 模块改善跳跃连接。
实验表明，RWKV-UNet 在多个数据集上取得 SOTA 性能，平衡了性能和效率。
FSSC
- 论文名称：Reducing Cross-Sensor Domain Gaps in Tactile Sensing via Few-Sample-Driven Style-to-Content Unsupervised Domain Adaptation
- 论文链接：https://www.mdpi.com/1424-8220/25/1/256
- 发布日期：2025-01-05
这篇论文介绍了 FSSC，一种全新的 few-sample-driven style-to-content 无监督域适应方法。它采用基于 RWKV 架构的设计来应对跨传感器域适应中的难题，例如传感器差异导致的域差距等问题。借助 GLAB 层、FST 模块等重要组件，它达成了有效减少触觉传感跨传感器域差距的目标。
实验表明，FSSC 在跨传感器域适应任务的准确性以及对少量样本的利用效率上均超越了现有的先进方法。
RWKV Knowledge Graph Completion
- 论文名称：Efficient Relational Context Perception for Knowledge Graph Completion
- 论文链接：https://arxiv.org/abs/2501.00397
- 发布日期：2024-12-31
文提出一种用于知识图谱补全的新方法，它采用受 Rwkv 启发的 Triple Receptance Perception (TRP) 架构来解决先前知识图谱嵌入模型的缺点，如表达能力有限、计算成本高等问题。通过 TRP 中的时间混合和通道混合模块等关键要素，它实现了高效且高质量的知识图谱补全。
实验表明，该方法在链接预测和三元分类任务方面都优于最先进的方法。
TCVADS
- 论文名称：Injecting Explainability and Lightweight Design into Weakly Supervised Video Anomaly Detection Systems
- 论文链接：https://arxiv.org/abs/2412.20201
- 发布日期：2024-12-28
论文介绍了一种名为 TCVADS 的视频异常检测系统。该系统采用两个阶段的运行模式。在第一阶段，系统使用增强的 RWKV 模块来进行高效的时间序列分析。通过结合知识蒸馏和跨模态学习技术，TCVADS 在性能上优于现有的方法。
RWKV Voice Dialog System
- 论文名称：Voice dialog system based on RWKV model
- 论文链接：https://ieeexplore.ieee.org/abstract/document/10762107
- 发布日期：2024-11-28
论文提出开发一个面向老年人的智能语音对话系统，采用经 LoRA 微调的 RWKV 模型。实验结果表明它提高了答案的流畅性和合理性，在老年护理方面有应用潜力，未来工作会对模型进行优化。
Visualrwkv-Hm
- 论文名称：Visualrwkv-Hm: Enhancing Linear Visual-Language Models Via Hybrid Mixing
- 论文链接：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5028149
- 发布日期：2024-11-21
论文提出 VisualRWKV-HM，这是一种线性复杂度的视觉语言模型。它基于 RWKV 整合了时间和跨状态混合。在多个基准测试上达到了 SOTA，在 24K 上下文时比 LLaVA-1.5 等模型效率更高，还展现出强大的可扩展性。
AutoGMM-RWKV
- 论文名称：AutoGMM-RWKV: A Detecting Scheme Based on Attention Mechanisms Against Selective Forwarding Attacks in Wireless Sensor Networks
- 论文链接：https://ieeexplore.ieee.org/abstract/document/10729884
- 发布日期：2024-10-23
论文提出了 AutoGMM-RWKV 用于检测无线传感器网络中的选择性转发攻击。它聚焦于节点单轮转发率时间序列，通过将自编码器、高斯混合模型和 K - 均值与 RWKV 相结合，提高了检测精度。模拟结果显示误检率和漏检率较低，提供了一个可靠的解决方案。
Revenge of the Fallen?
- 论文名称：Revenge of the Fallen? Recurrent Models Match Transformers at Predicting Human Language Comprehension Metrics
- 论文链接：https://arxiv.org/abs/2404.19178
- 发布日期：2024-08-26
论文提出，在语言任务中，Transformer 一直占据主导地位，但近期 RWKV 等循环模型出现。本文表明像 RWKV 这样的当代循环模型在模拟人类语言理解方面能够与 Transformer 相媲美甚至超越它们，开启了新的研究方向。
Enhancing Transformer RNNs with Multiple Temporal Perspectives
- 论文名称：Enhancing Transformer RNNs with Multiple Temporal Perspectives
- 论文链接：https://arxiv.org/abs/2402.02625
- 发布日期：2024-07-11
论文提出多时间视角概念以增强循环神经网络（RNN）。将其应用于 RWKV 模型时，能以极少的参数增加丰富上下文理解。实证结果验证了其有效性，在基准测试中表现提升且保持线性推理复杂度。
RWKV 模型动态
新模型： RKWV-7-1.5B
RWKV-7-World-1.5B-v3 模型于 2025 年 1 月 28 日正式发布！
RWKV-7-1.5B 模型基于 RWKV World v3 数据集（共 3.1T 数据）训练而来。在英文和多语言评测中，RWKV-7-1.5B 模型的评分对比其他同参数模型处于绝对领先地位。
新模型： RKWV-7-0.4B
RWKV-7-World-0.4B-v2.9 模型于 2025 年 1 月 8 日正式发布！
RWKV-7-World-0.4B 在 world-2.9（从 world-v3 数据集中采样 2T tokens）数据集上训练。其英文和多语言能力显著超越其他 0.4B 模型，且支持全球 100+ 种语言和代码。
RWKV 社区活动
此版块包含 RWKV 官方动态，以及 RWKV 社区举办或参加的各类活动。
RWKV 创始人闭门会开启报名
2 月 21 日晚 7 点，将在上海组织 “RWKV-7与未来趋势“ 的闭门会。
RWKV 创始人彭博会线下参加，欢迎 RWKV 开发者、感兴趣的业内人士扫码报名🤝
RWKV 社区项目动态
RWKV Othello
RWKV 社区成员 @Jellyfish042 基于 RWKV-7 架构开发了 RWKV Othello 项目。
项目 GitHub 仓库： https://github.com/Jellyfish042/RWKV_Othello
RWKV Othello 项目利用 Othello（也称为反转棋或黑白棋）的 CoT 数据训练了仅 8.8M 参数的 RWKV-7-Othello 模型。
RWKV-7-Othello 模型可以和人类或其他模型自动对战 Othello 游戏，且在与人类对战时实现了非常高的胜率。
