项目来源 👤 开发者：wjie98 🔗 项目链接：https://github.com/wjie98/rosa_soft

本项目为社区提出的一种 ROSA 实现，不代表 RWKV-8 ROSA 的实际实现，效果供参考。

ROSA Soft 是由社区开发者设计的一套端到端可训练的 ROSA 算子实现。该项目采用直通估计器（STE）框架，成功解决了 ROSA 机制离散、不可微分的问题，使其能够与基于梯度的优化算法兼容。

项目核心特性：

• 真正的 ROSA 正向传播：执行离散的、无参数逻辑，以实现最高效率并忠实还原原始 ROSA 概念。
• 平滑、稳定的反向传播：使用 后缀注意力（SUFA） 机制作为梯度的替代物（Proxy），从而实现稳定且有效的训练。

使用方法

1. 获取代码与安装

首先克隆项目代码：

git clone [https://github.com/wjie98/rosa_soft.git](https://github.com/wjie98/rosa_soft.git "https://github.com/wjie98/rosa_soft.git")

然后进入目录并安装 C++ 内核：

cd rosa_cpp
pip install --no-build-isolation .

2. 导入与使用

安装完成后，即可导入并使用 ROSA 算子：

from rosa_cpp import rosa_bits_ops

算子参数说明与示例：

def rosa_bits_ops(
        query: Tensor, key: Tensor, value: Tensor,
        suffix_window: int = 4,
        suffix_factor: Optional[float] = None,
        attention_mask: Optional[Tensor] = None,
        attention_tau: float = 1.0,
):
    """
    执行快速在线后缀自动机 (ROSA) 类注意力操作。

    该函数计算一种基于 Query 和 Key 序列之间最长公共后缀匹配的可微、类注意力机制。
    输入预期为 Logits 张量（后续将被二值化）。该操作旨在像 GPU 这样的并行硬件上高效运行。

    参数:
        query (Tensor): (B, H, T, D) Query 位的 Logits (tanh 前)。
        key (Tensor): (B, H, T, D) Key 位的 Logits (tanh 前)。
        value (Tensor): (B, H, T, D_v) Value 位的 Logits。
        suffix_window (int): 用于指纹化 (fingerprinting) 的回溯窗口大小。
        suffix_factor (Optional[float]): 窗口的衰减因子。

    返回:
        Tensor: 硬 SAM (Suffix Automaton) 查找的结果。
    """

项目说明

1. 项目结构概览

• modules：包含 PyTorch 模型定义，包括基类和特定的架构集成。
• rosa_cpp：最新、高性能 C++ 内核的存放地。
• rosa_ops：历史实现快照的存档，保留了算子逻辑的演变过程。

2. 项目背景：什么是 ROSA？

ROSA 是彭博 (BlinkDL) 在 RWKV-8 架构中提出的一个开创性概念。它的目标是用一种被称为“神经符号无限范围无损信息传播器 (neurosymbolic infinite-range lossless information propagator)”的机制来替代标准的注意力机制。

核心思想： 基于历史记录中发现的 最长精确匹配 (Longest Exact Match) 来预测序列中的下一个 token。

• 对于给定的序列 $x$，输出 $y_i$ 的确定方式是：找到以 $i-1$ 结尾的 $x$ 的最长后缀，该后缀与之前的某个子串相匹配。
• 如果在索引 $j$ 处找到了这样的匹配，则输出为该匹配之后的 token，即 $x_{j+1}$。

ROSA 的优势：

• 无参数 (Parameter-Free) ：核心逻辑没有可训练的权重。
• 无点积 / Softmax：在离散 token 上操作，消除了标准注意力的二次方复杂度。
• 无浮点 KV 缓存：只需要存储离散 token 的历史记录。
• 高效推理：底层后缀自动机可在 CPU 上极快处理，并与 GPU 层并行运行。

本项目深受 RWKV-LM 原始研究启发。

3. 核心挑战

原始 ROSA 的主要挑战在于其 固有的离散和不可微性质。 Token 匹配基于精确的相等性，这是一个阶跃函数，几乎在所有地方提供的梯度信息都为零。这使得无法使用标准的反向传播来训练产生 ROSA 兼容输入的模型。

4. 解决方案：直通估计器 (STE) 框架

本项目优雅地解耦了前向和反向传播，逻辑封装在 rosa_bits_ops 函数中：

A. 后缀注意力 (SUFA) 作为梯度代理

反向传播依赖于 后缀注意力 (SUFA) 。不同于标准注意力计算全局语义相似度，SUFA 计算的是 几何衰减窗口内 Q 和 K 的后缀 (suffixes) 之间的点积相似度。

• 目标对齐：SUFA 的梯度信号（“让相似的后缀具有更高的点积”）正是模型学习表征所需的激励，有助于在 ROSA 前向传播中形成离散匹配。
• 稳定的梯度：通过 Softmax 提供平滑的损失曲面。
• 高效：利用 Flash Attention 生态系统加速。

B. Value 分离 (Value Detach)

这是训练方案中的关键创新。

• 问题：如果 $V$ (Value) 通过软注意力优化，它倾向于学习多个 Key 的加权平均值以最小化损失，导致 $V$ 变得“模糊”，降低了寻找单一正确匹配的动力。
• 解决方案：在软代理分支中分离 Value。软分支仅用于训练 $Q$ 和 $K$ 去寻找正确位置；$V$ 仅由硬 ROSA 分支（通过显式注入）更新。这强制 $Q/K$ 在几何上对齐，以找到清晰、正确的 $V$。

C. 几何衰减 (Geometric Decay)

为了弥合连续点积和离散后缀匹配之间的差距，项目对 Query 和 Key 的投影应用了 几何衰减。

• 机制：衰减因子根据后缀窗口大小动态计算。
• 作用：强制执行 严格的时间层级，赋予最近的 token 指数级更高的权重，抑制遥远历史。这种加权方案构建了独特的“状态指纹 (State Fingerprint)”，在数学上将 Flash Attention 的目标与 ROSA 的“最长公共后缀”逻辑对齐。