稀疏注意力减少了主注意力的计算量，但负责筛选 token 的索引器仍可能成为长上下文推理的瓶颈。小红书 Dots 团队自研的 DoSA 利用分数上下界，在保持原始 Top-K 选择结果的前提下加速索引器，并在测试中提前过滤了约 97% 的候选。在约 1M token 的上下文长度下，Dots3-Note-preview、GLM-5.2 和 DeepSeek-V3.2 的首 token 延迟较各自的 SGLang 基线分别降低约 37%、46% 和 48%。 论文标题：DoSA: Dots Sparse Attention 作者单位：Dots Studio 项目地址：https://github.com/llm-sys/dosa-sglang 01 注意力稀疏了，为什么还是慢？ 大模型从发出请求到收到第一个 token 的时间称为首 token 延迟（TTFT），也就是用户感受到的「首字等待时间」。上下文越长，预填充通常越耗时。 DeepSeek-V3.2 采用的 DSA 减轻了主注意力的计算负担：先由索引器（Indexer）为候选 token 打分，选出分数最高的 K 个，再由主注意力对选中的内容进行计算。然而，索引器本身成为了主要瓶颈。在约 1M token 的上下文长度下，Dots3-Note-preview、GLM-5.2 和 DeepSeek-V3.2 的 Indexer 耗时分别占预填充时间的 81.6%、73.0% 和 90.8%。 图 1｜左：Indexer 耗时占预填充 GPU 时间的比例；右：Indexer 的理论矩阵运算量占比。 02 同样是加速 Indexer，DoSA 有何不同？ 表 1｜不同的基模团队索引器加速路线。 层间复用、减少索引头和按块共享等方法，通过减少独立打分次数或改变选择粒度来节省计算，但不保证与原始逐层、逐查询、使用全部索引头打分的 Top-K 选择结果等价。 DoSA 的关键区别在于：保留原始评分函数，并用数学上下界证明哪些计算可以省略。少量索引头仅用于构造保守上界，不会替代最终评分。只有被证明不可能进入 Top-K 的候选才会被排除，其余候选仍使用全部索引头进行精确打分。 03 先判断能否入选，再决定是否精算 理解 DoSA，只需抓住两个量：Top-K 入选的 阈值下界 ，以及每个候选的 分数上界 。如果某个候选的得分上界仍低于门槛下界，就能确定它不可能入选，从而将其安全排除。 图 2｜DoSA 的筛选与精算流程：先计算筛选所需的点积，利用上界排除候选，再对保留的候选计算全部索引头的得分，最后按原始规则汇总分数并写回。灰色和紫色分别表示省去的计算与写回操作。 DoSA 首先选出一组种子候选，并使用当前查询的全部索引头重新打分。种子候选中第 K 大的分数可作为入选门槛的下界，因为已有至少 K 个候选达到这一分数。种子候选可依据历史入选频次选取，也可在冷启动时由少量锚点查询产生；无论来源如何，都需要针对当前查询重新打分。 接下来，DoSA 为每个候选构造一个不低于其真实得分的上界。Indexer 的总分由多个索引头的贡献加权汇总。DoSA 保留少量重要头进行精确计算，并分别处理其余正权重头和负权重头的贡献：对于正权重头，将其投影到保留头上，并估计残差贡献的上界；对于负权重头，则利用聚合后的扣分项下界，保守地估计其扣分幅度。两部分与保留头的精确贡献相结合，得到总分的保守上界。 只有当得分上界严格低于门槛下界时，候选才会被排除。剩余候选继续使用全部索引头进行精确打分，最终按原始分数执行 Top-K 选择。界限即使估计得较为宽松，也只会增加精算量，不会误删可能入选的候选。 04 少算之后，还要让 GPU 高效执行 减少点积计算后，还需要让 GPU 高效完成剩余工作。不同查询保留的候选各不相同，若逐个处理，容易产生零散计算、重复的 key 加载和大量中间结果写回。为此，DoSA 将流程组织为规则化筛选、候选精算和紧凑写回三个阶段。 图 3｜筛选、精算与写回的数据流。蓝色和橙色表示连续处理的数据块，灰色 MMA 块表示省去的全头计算。G2S 表示从全局内存到共享内存的传输，A2R 表示从累加硬件模块到寄存器的传输。 筛选阶段仍会扫描当前查询可见的 key，但只计算构造上界所需的少量信息。保留头数量相近的查询被组织成规则的数据块，交由 Tensor Core 执行矩阵运算；数据加载与计算通过流水线重叠执行。筛选结果以紧凑的位掩码记录，供下一阶段使用。 精算阶段利用不同查询之间的候选重叠来减少数据搬运。实现中，每 4 个查询组成一组。如果某个 key 被至少两个查询保留，且对组内所有查询都可见，就进入共享处理路径：只加载一次，再为整组查询打分。这会增加少量点积计算，但能减少重复加载；其余候选仍按查询