法律合同第17页第3款,Qwen3-235B漏掉了“不可抗力不包括疫情导致的供应链中断”这一补充条款。同一段落,Claude 3.5 Sonnet不仅完整提取,还标注了该条款在2024年补签协议中的修改记录。
这是我们在Qwen3发布两个月后反复遇到的场景。不是能力不行,是注意力分配策略不同。
阿里云今年5月正式推出Qwen3系列,旗舰模型Qwen3-235B-A22B在代码、数学等基准上直接对标DeepSeek-R1和Gemini 2.5 Pro。据Qwen官方博客披露,Qwen3采用了新的注意力机制优化,支持131,072 tokens上下文窗口。但基准跑分和真实长文档场景是两回事。我们设计了一套实测方案:从北大法宝抽取10份真实商事合同(平均8.2万字),从Wind终端导出8份行业深度研报(平均6.5万字),从港交所披露易下载5份招股书(平均12万字),总计23份文档,覆盖金融、医药、半导体、地产四个行业。
关键条款提取:召回率接近,稳定性有差距
先说结论数字。
关键条款提取召回率:Claude 3.5 Sonnet 94.2%,Qwen3-235B 91.7%,Gemini 2.5 Pro 93.5%。差距不大,但Claude的边界识别明显更强——它在10份合同中只有1次将非关键条款误标为关键,Qwen3-235B有4次。
财务数据提取准确率:招股书场景下,Qwen3-235B准确率89.3%,Gemini 2.5 Pro 92.1%,Claude 3.5 Sonnet 91.8%。Qwen3在“扣非净利润”与“归母净利润”的区分上出错最多,8份招股书中有3次混淆。
幻觉率是最值得关注的指标。Claude 3.5 Sonnet幻觉率仅1.2%,Gemini 2.5 Pro为2.7%,Qwen3-235B达到4.8%。Qwen3的幻觉集中在两类:一是对文档未提及内容进行“合理推断”,比如在研报中自行补充行业增速数据;二是跨段落信息拼接时逻辑链断裂,把A公司的应收账款周转率误套到B公司。
这让人联想到此前BIGAI通用智能体在客服场景的翻车——BIGAI新架构落地实录里记录的优惠券计算错误,根源同样是缺少对场景常识的约束。大模型在长文档中的“自由发挥”倾向,需要更严格的检索增强来压制。
长文本的“中间丢失”问题
Qwen3的注意力机制在超长文档中呈现明显的“两头强、中间弱”特征。我们做了个控制实验:将同一份12万字招股书的第7章(位于文档43%位置)分别置于文档开头、中间和结尾,测试三款模型的提取准确率。
结果很清晰:Claude和Gemini的位置敏感度低,准确率波动在2%以内。Qwen3-235B在中间位置时准确率下降11个百分点,从开头的93%跌至82%。
2026年初业界对长上下文模型的“中间丢失”现象已有讨论,但Qwen3的表现比同期闭源模型更明显。阿里云在Qwen3技术报告中提到采用了YaRN位置编码扩展方法,理论上应缓解此问题,但实测说明在10万token以上场景仍需优化。据阿里云百炼平台文档,Qwen3系列支持131,072 tokens上下文,但当文档超过8万字时,Qwen3-235B对中间段落(文档20%-60%位置)的信息提取能力明显下降,召回率从整体的91.7%跌至84.3%。Claude和Gemini的衰减幅度控制在3个百分点以内。
中文场景的额外难度
中文长文档给所有模型都制造了额外难度。法律合同中的“但书”条款、招股书里的“风险因素”章节常出现嵌套长句,一句话跨3-4行,主谓宾结构松散。Qwen3在处理这类句式时,偶尔出现主语错配——把A公司的义务安到B公司头上。
另一个中文特有问题:表格识别。港交所招股书大量使用表格呈现财务数据,且表格格式复杂(合并单元格、跨页断表)。Qwen3-235B的表格解析准确率78%,低于Claude的89%和Gemini的85%。尤其在跨页表格场景下,Qwen3有3次将下一页的表格数据与上一页错位对齐,导致整组财务比率计算错误。
Qwen3-VL版本在2025年12月发布时宣称支持25万字长文档处理和跨模态编程,视觉能力有针对性强化。但我们的测试集中于纯文本场景,如果文档涉及扫描件PDF的OCR识别,VL版本的表现可能改善表格解析问题。
成本账:便宜但可能不省钱
性能差距存在,但成本维度上Qwen3打出了差异化。我们按阿里云百炼平台和第三方API聚合平台2026年7月的实际报价做了成本测算。处理一份10万字招股书(输入约25万tokens,输出约5000 tokens),Qwen3-Max费用约0.18元人民币,Qwen3-235B约0.35元,Claude 3.5 Sonnet通过Amazon Bedrock调用约1.2美元(折合8.6元),Gemini 2.5 Pro约0.9美元(折合6.5元)。
Qwen3-Max的成本仅为Claude的2%,但准确率差距约3-5个百分点。对于大批量文档处理场景——比如律所每月审核上百份合同、券商研究所日处理数十份年报——这个成本差意味着每月数千元与数万元的差距,足以让技术选型倾向Qwen3。
但这里有个陷阱:幻觉带来的纠错成本。我们发现Qwen3-235B在招股书场景下每份文档平均产生3.2个事实性错误,人工复核纠错耗时约15分钟/份。按初级分析师时薪计算,纠错成本约8元/份,反而把API成本优势抵消了大半。
这跟Agent计费逻辑漏洞修复里讨论的问题同源:AI调用的总拥有成本必须包括纠错和审核环节。只看API账单是危险的。
工程选型建议
综合两个月实测,Qwen3在中文长文档场景的定位已经清晰:能用、便宜、但要配人工复核。
对于预算敏感、处理量大、且允许人工二次审核的场景(如律所内部合同初审、券商研报数据初筛),Qwen3-Max是当前性价比最高的选择。万亿参数带来的理解能力足以覆盖80%的常规信息提取需求,剩下20%的高风险判断交给人类。
对于零容错场景(如正式法律意见书、招股书财务核验),Claude 3.5 Sonnet仍是首选,其幻觉率和边界识别能力目前无人能及。Gemini 2.5 Pro处于中间位置,性能接近Claude,成本低于Claude,适合对Google生态有依赖的团队。
Qwen3的迭代速度值得关注。据智源社区报道,基于通义千问二次开发的衍生模型数量已达17万,超过美国Llama系列位居全球首位。社区反馈驱动的快速迭代,可能在3-6个月内显著改善长文本注意力和表格解析问题。
但当下,如果你正在做中文长文档处理的技术选型,先拿自己业务场景下的20份真实文档跑一轮对比测试。基准跑分和实测差距,往往比你以为的大。