今年3月，一家头部券商用 RAG 系统复盘“子公司为何连续亏损”。向量检索很听话地召回了所有带“子公司”和“亏损”的财报片段，但模型给出的答案却是把不同子公司的数字硬拼在一起，逻辑完全断裂。
这不是大模型的错，是检索方式的错。传统 RAG 擅长找“相似”，却不懂“因果”。向量检索本质上是在空间里找邻居，它知道“亏损”和“利润”挨得近，却看不出前者是后者的原因。
这种尴尬在2026年被放大了。随着 GPT-5、DeepSeek-V4 等模型将上下文窗口拉到百万 token，业内一度传言“向量数据库已死”。《向量库已死、RAG永存》一文的论点很诱人：既然模型能读全文，何必多此一举搞向量检索？
但实测数据泼了冷水。百万 token 的推理成本极高，且模型注意力在大段无关文本中极易分散。长上下文没有终结 RAG，反而逼出了一个新的痛点：检索必须从“广撒网”升级为“精推导”。
逻辑补位：GraphRAG 的精准度
为了解决“懂相似不懂逻辑”的问题，GraphRAG 成为领头羊。它引入知识图谱，让系统沿着实体关系路径推导答案。
在金融反洗钱场景中，摩根大通内部的 GraphRAG 方案能跨账户、跨交易链路追踪团伙资金流向。据2026年内部基准报告，其准确率比纯向量检索高出34%。
医疗领域同样受益。在上海 AGI 大会上，联影智能明确提出，必须用领域知识图谱约束大模型输出，才能跨过幻觉门槛。法律合同审查也是如此——同一个词在不同条款里意思完全不同，只有图谱能保留这种语境链。
代价也很明显：构建和维护知识图谱需要大量人力标注，中小企业往往玩不起。
硬件突围：存算一体的能效战
软件走不通，硬件厂商就抢跑了。2026年初，IBM 放出 VSM（向量相似性匹配）芯片，宣称在检索任务上性能提升100倍，能效碾压 GPU 千倍（据腾讯云开发者社区报道）。
这项存算一体技术直接捅破了向量搜索的“能耗墙”。在边缘设备或十万亿级向量的大规模场景下，不再需要消耗整片机架。国内厂商如知存科技也推出了类似架构，试图将 RAG 从云端压到端侧。
激进路线与混合架构
还有一条更激进的路线：推理式 RAG。代表作 PageIndex 摒弃了“先检索后生成”的步骤，改为端到端学习。据53AI在2026年2月的报道，PageIndex 在 HotpotQA 和 Musique 等多跳推理基准上准确率达98.7%，超越了当时公开的 GraphRAG 方案。但这需要极高的训练成本，且封闭模型难以适配私有数据。
目前看来，单一路径都难独木难支。行业共识正在形成混合架构。
2026年6月的国际通用人工智能大会上，华为发布的昇腾云服务展示了“长上下文+知识图谱+向量检索”的三级缓存策略：长上下文做快速匹配，模糊请求触发图谱推理，复杂逻辑再调用向量库细粒度召回。腾讯云的 Ti-One 平台也推出了类似的多引擎调度器。
新的难题：幻觉、合规与成本
混合架构并非万能药，新问题随之而来。
首先是知识图谱本身的“幻觉”。错误的实体关系一旦被命中，后果比向量召回错误更严重。
其次是合规风险。欧盟 AI 法案 Q3 起执行高风险 AI 系统透明度要求，如果 RAG 系统无法解释“为什么是这条文档”，将面临合规挑战。
最后是成本失控。GraphRAG 的图遍历加上长上下文生成，在微信小程序级业务中，API 账单可能从每月2万飙到8万。
向量检索没有死，它只是退回了工具箱里“准确但不够聪明”的位置。RAG 3.0 的竞争，不再是单项指标的刷新，而是谁能将检索、推理与生成耦合得更稳、更省。
