128K合同实测：省下显存后，谁更少漏检

同一张 RTX 4090，三套 1B 级模型，128 份中文合同。最长一份 131K token。跑完三轮，结果很难用“替代”两个字概括：RWKV-6 最省显存，也最快出首 token；Qwen2.5 漏检最少；Mamba-3 落在中间。

2025 年 2 月，RWKV 作者彭博在量子位的访谈里把 Transformer 比作燃油车，把 attention-free 比作新能源。这个比喻说的是资源曲线。放到合同审查里，还要多问一句：模型能装下 128K token，只是第一关；自动续约、单方面修改权和合规条款有没有被漏掉，才决定后面要花多少人工。

这次测试就算三笔账：显存和时延、关键条款漏检，以及继续训练的时间与电费。

先把测试边界框住

硬件统一为 1× RTX 4090 24G，系统为 Ubuntu 22.04，CUDA 12.4。

测试数据包括 128 份中文法律合同，覆盖 SaaS 服务协议、股权转让和劳动合同三类。合同平均长度 92K token，最长 131K token。每份合同人工标注 11 类关键条款：付款节奏、违约金比例、管辖法院、不可抗力、解除条件、知识产权归属、数据保密、争议解决、合规条款、自动续约和单方面修改权。

三套模型分别是：

• Mamba-3-1.5B：2026 年 3 月发版，配套 Hugging Face 仓库；
• RWKV-6-1.6B-World：2026 年 1 月快照，基于 RWKV-LM 主线；
• Qwen2.5-1.5B-Instruct：作为 Transformer 基线。

Prompt 统一为“按 11 类条款逐项列出关键威胁点，不输出原文”，temperature=0。

选择 1B 级模型，原因很现实：它们能在这张 4090 上完整跑起来。再往上的 7B 版本会出现 OOM；改用 KTransformers 或多卡方案，又会引入新的软硬件变量。因此，这组结果只适用于小模型、单卡、batch=1，不外推到 7B、多卡或生产集群。

RWKV-6 先拿下显存和速度

测试统一采用 FP16、128K 上下文，最大 batch=1。Qwen2.5 开启动态 NTK 与 FlashAttention-2。首 token 延迟按提交 Prompt 到首个输出 token 的端到端时间计算。

RWKV-6 在三项指标上都排在前面：显存最低、首 token 最快、稳态生成速度也最高。Qwen2.5 的峰值显存达到 21.6 GB，已经接近 24G 单卡的上限。

Mamba-3 因选择性扫描带来额外计算，显存高于 RWKV-6，但 48 tokens/s 的生成速度仍快于 Qwen2.5。到这里，attention-free 路线的机器账确实更好看。合同账还得看漏检。

合同账：最省显存的模型，漏得也最多

人工标注一共得到 1408 条关键条款，即 128 份合同乘以 11 类条款。若模型没有暴露任何风险点，而人工复核能在 30 秒内找到明显风险，就记为一次漏检。

Qwen2.5 的平均漏检率为 12.0%，是三者中最低的。表中 11 类条款，它也都低于另外两套模型。代价已经写在上一张表里：显存更高，首 token 更慢，生成速度也最低。

RWKV-6 的平均漏检率达到 20.1%。问题较集中的几类是自动续约、合规条款和单方面修改权，漏检率分别为 28.1%、29.7% 和 35.2%。从实际输出看，“双方协商一致，可以变更”“不可抗力包括但不限于”这类带有长定语和并列结构的中文表述，首版权重抓得不稳。

仅凭这批合同，还不能把问题归结为 RWKV 架构本身。更稳妥的判断是：现成的 1.6B-World 权重与中文法律场景适配不足，直接上线风险很高，仍需中文法律 SFT 或继续预训练。

Mamba-3 的平均漏检率为 14.2%。在偏事实抽取的条款上，它和 Qwen2.5 较为接近：管辖法院为 5.5% 对 4.7%，争议解决为 11.7% 对 9.4%。到了合规条款和单方面修改权，Mamba-3 分别为 21.1% 和 25.0%，Qwen2.5 则是 18.0% 和 20.3%。

至少在这批数据里，Mamba-3 处理明确实体和事实位置时更稳，遇到需要跨段聚合的风险判断，差距会扩大。这个分布与状态压缩可能损失长文本细节的经验观察相符，但不足以单独证明因果。

电费不算高，训练时间更值得看

我们没有把三套模型微调到上线水平，只估算继续训练的投入。条件统一为 11B token 中文法律语料、LoRA rank=16、batch=8；RWKV-6 以 RWKV-LM 主线的 World 权重为起点。

电费按 0.85 元/kWh、4090 单卡峰值 350W 折算。这里只计算电费，不代表完整的训练成本。

Mamba-3 的估算时间最长，主要是选择性扫描算子需要改写部分 attention 兼容算子。Qwen2.5 走常规 LoRA，时间最短。RWKV-6 处在中间，但它当前的漏检率更高，中文法律语料适配又绕不开。

这项估算没有验证继续训练后，RWKV-6 能否把漏检率降到 Mamba-3 的 14.2%。它只能说明一件事：attention-free 路线省下的推理资源，会在项目早期被数据适配和训练时间吃掉一部分。

三套模型，对应三种账本

漏检优先，先看 Qwen2.5。 在这组 128K 合同中，它的平均漏检率最低，11 类条款也都占优。需要接受的是 21.6 GB 峰值显存、6.8 秒首 token 延迟和 39 tokens/s 的生成速度。

单卡资源优先，RWKV-6 更有吸引力。 8.7 GB 峰值显存、2.9 秒首 token 延迟、71 tokens/s，适合合同普遍在 64K 以上且对单卡时延敏感的场景。但 20.1% 的平均漏检率已经说明，首版权重不能直接用于中文法律审查。

想在两端之间找位置，Mamba-3 更均衡。 它的平均漏检率为 14.2%，峰值显存 11.4 GB，生成速度 48 tokens/s。对无法接受 RWKV-6 当前漏检水平、又希望降低 Transformer 显存占用的团队，它是更稳妥的候选底座。

本轮没有直接测试低于 16K 的短合同，也没有测试更高 batch。短上下文和高并发场景需要重新压测，不能把这组 128K、batch=1 的结果直接套过去。

还有一条比选型更重要：自动续约和单方面修改权的漏检率，在三套模型中都高于各自平均值。现阶段，它们适合做摘要和风险初筛，不能直接充当无人复核的审查终点。

Transformer 还没退场，attention-free 先改了机房账单

在 128K、batch=1、单张 RTX 4090 的条件下，attention-free 路线已经表现出明确的显存和时延优势。问题在于，机器成本最低和漏检率最低，落在了不同模型上。

如果业务最贵的是 GPU，RWKV-6 的资源曲线值得投入；如果最贵的是漏掉条款后的人工复核，Qwen2.5 仍有现实优势；Mamba-3 则提供了中间选项。

彭博的比喻依然有用：新的动力路线已经出现，最先改写的是机房账单。至于 Transformer 何时退场，这批 128 份合同还给不出答案。

资料来源

• “Transformer 就像燃油车，attention-free 才是新能源”｜对话 RWKV 创始人彭博
• 对话 RWKV 作者彭博：单枪匹马挑战 Transformer 的神秘怪才｜品玩