SAM、CLIP...最近有哪些基于 RWKV 的多模态等研究？【第二期】

大家好，我们整理了近期 RWKV 生态中新增的一些多模态工作，包含：RWKV-SAM（图像分割模型）、RWKV-CLIP（视觉语言表示学习）、point-RWKV（3D 点云学习框架）……

RWKV-SAM

• 相关论文： Mamba or RWKV: Exploring High-Quality and High-Efficiency Segment Anything Model
• 论文地址：https://arxiv.org/abs/2406.19369
• GitHub 仓库：https://github.com/HarborYuan/ovsam

论文设计了基于 RWKV 的图像分段切割方法“RWKV-SAM”（Segment Anything Model）。

下图为 RWKV-SAM 架构：

与 Transformer 模型相比，RWKV-SAM 实现了 2 倍以上的加速，且可以在各种数据集上实现更好的图像分割性能。

此外，RWKV-SAM 的分类和语义分割结果优于最新的视觉 Mamba 模型。

RWKV-CLIP

• 相关论文：RWKV-CLIP: A Robust Vision-Language Representation Learner
• 论文地址：https://arxiv.org/abs/2406.06973
• GitHub 仓库：https://github.com/deepglint/RWKV-CLIP

RWKV-CLIP （Contrastive Language-Image Pre-training）是一个 RWKV 驱动的视觉语言表示学习模型，该框架可以利用大型语言模型（LLMs）来合成和细化基于网络的文本、合成标题和检测标签的内容。

RWKV-CLIP 架构如图：

论文结果显示：与 ALIP 相比，RWKV-CLIP 在图像文本模态空间中表现出更近的距离，表明具有卓越的跨模态对齐性能。

PointRWKV

• 相关论文： PointRWKV: Efficient RWKV-Like Model for Hierarchical Point Cloud Learning
• 论文地址：https://arxiv.org/abs/2405.15214
• GitHub 仓库：https://github.com/hithqd/PointRWKV

PointRWKV 项目是一种基于 RWKV 的 3D 点云学习框架，在下游点云任务上性能优于基于 Transformer 和 Mamba 的同类工作，显著节省了约 46% 的 FLOPS。

下图为 PointRWKV 架构：

SDiT

• 相关论文：SDiT: Spiking Diffusion Model with Transformer
• 论文地址：https://arxiv.org/abs/2402.11588

论文提出了 Spiking Diffusion Transformer (SDiT - 基于 Transformer 的新型 SNN 扩散模型架构），但采用 RWKV 作为 Transformer 自注意力机制的替代。

通过将 RWKV 有效地与 SNN 集成，SDiT 方法提高了重建图像的质量。

和基于 Transformer 的 ANN 实现 (DiT) 相比，基于 RWKV 的 SDiT 方法拥有更小的参数和更低的乘法累加 (MAC) ，充分展示了低功耗 SNN 的优势。

VisualRWKV-6

• 相关论文：VisualRWKV: Exploring Recurrent Neural Networks for Visual Language Models
• 论文地址：https://arxiv.org/abs/2406.13362
• GitHub 仓库：https://github.com/howard-hou/VisualRWKV
• 模型下载：https://huggingface.co/howard-hou/visualrwkv-6/tree/main

VisualRWKV 是 RWKV 语言模型的视觉增强版本，使 RWKV 模型能够处理各种视觉任务。

VisualRWKV-6 的架构设计是 Data-dependent Recurrence + Sandwich Prompt + Bidirectional Scanning 。

大量实验表明，与基于 Transformer 的模型（如 LLaVA-1.5）相比，VisualRWKV 在各种基准测试中实现了具有竞争力的性能。

---

以上是近期的 RWKV 多模态研究。更早之前的 RWKV 多模态工作，请参考我们的第一期统计：

• 除了语言模型，RWKV还有哪些多模态工作？

欢迎大家使用 RWKV 进行创业、科研，我们也会为基于 RWKV 的项目提供技术支持。

如果您的团队正在基于 RWKV 创业或开展研究，请联系我们！（在“RWKV元始智能”微信公众号留言您的联系方式，或发送邮件到“contact@rwkvos.com”。）