大模型答错,很多时候不是措辞问题,而是系统一开始就没拿到可靠材料。
RAG的基本做法并不神秘:回答前先去知识库检索相关资料,再让模型基于资料生成答案。Cloudmax对RAG的解释也是这个方向——AI先从企业知识库中找到资料、引用依据,再生成回答。
但“接了RAG”不等于答案可靠。IBM在讨论RAG问题时提到,现实系统里常见麻烦包括上下文窗口限制、聚合能力不足、复杂关系理解缺陷,以及分块策略不当带来的低质量输出。IBM软件事业部高级副总裁Dinesh Nirmal说得更直白:“RAG在很大程度上存在缺陷。纯RAG并不能真正达到预期的最佳结果。”
这句话点出了一个工程事实:幻觉治理不能只盯着向量数据库。检索、知识组织、生成约束、来源校验和拒答,都要一起看。
相似文本找到了,关系可能丢了
向量检索擅长找语义相近的段落。可很多业务问题并不是“找一段话”就能答完。
比如一个问题同时涉及实体、事件、时间、条件和上下游关系。材料被切成文本块后,相关信息可能散在不同位置。模型拿到的上下文缺一块,回答就可能顺着语言习惯补全,最后看起来流畅,实际已经偏了。
清华大学软件学院长聘副教授高跃团队提出的Hyper-RAG,针对的就是这类问题。据《中国能源报》6月22日报道,高跃在中国环境科学学会学术年会上介绍,团队基于Hyper-RAG超图增强大模型,建立覆盖全尺度关联的领域知识库及知识超图谱,可以降低关键知识缺失60%,降低大模型幻觉48%。
这里值得看的不是“超图”这个词有多新,而是知识组织方式变了。普通RAG常见做法是把资料切成文本块,再按相似度召回;Hyper-RAG强调用超图表达多实体、多关系连接,让系统在检索时少漏掉关键关联。
对环境、能源、科研、法律、供应链这类关系密集的领域,单纯召回几段相似文本,经常不够。
查到资料之后,还得限制模型发挥
检索只是把材料送到模型面前。之后怎么说,仍然可能出问题。
模型拿到资料后,可能扩写、补全,也可能把不确定内容说成确定结论。企业知识库里尤其常见一种情况:系统不是完全没查到,而是查到了一些相关内容,最后回答却没有严格贴着原文走。
京东云开发者社区介绍的TaD+RAG,就是在这一层加控制。TaD是任务感知解码技术(Task-aware Decoding),由京东联合清华大学针对大语言模型幻觉问题提出,成果收录于IJCAI 2024。它和RAG组合后,重点放在生成阶段:让模型在解码时更偏向检索到的可信知识片段,少依赖自身训练记忆。
换成产品语言,就是要减少“查到了,但没按资料说”。这比单纯提高召回数量更贴近企业落地里的痛点。
答不出来,要允许系统停下
很多RAG系统最薄弱的一环,是拒答。
为了让交互看起来顺滑,系统在证据不足时也会继续生成。用户看到的是一段完整回答,业务方承担的是错误传播风险。
JavaUp技术社区的RAG幻觉治理实战给了一个很朴素的工程做法:先在Prompt里立规矩,要求每个关键结论后面标注来源;再对检索结果做评分过滤。如果候选文档为空,或者重排后的相关性分数不达标,就触发拒答,不继续拼答案。
这一步不炫技,但很要紧。RAG系统需要有一句明确的“未找到可靠信息”。在客服、投研、法务、医疗咨询这类场景里,一个克制的拒答,通常比一个流畅但无依据的回答更安全。
RAG 2.0更像一组校验动作
把Hyper-RAG、TaD+RAG和拒答机制放在一起看,RAG 2.0不像是给旧流程换一个更大的向量数据库。它更像一组连续校验:先尽量找全,再判断是否相关,生成时贴住证据,证据不足就停。
企业评估自己的RAG系统,可以从几个具体问题开始:
- 答案里的关键结论有没有来源标注?
- 低相关性的检索结果会不会被过滤?
- 内部公告、政策文件、市场材料更新后,知识库能否及时同步?
- 遇到跨实体、跨文档的问题,系统能不能把关系串起来?
- 分块、重排、上下文拼接有没有持续评估?
如果这些问题没有答案,只说“已经接入RAG”,很难真正压住幻觉。
Hyper-RAG处理复杂关系,TaD+RAG约束生成阶段,拒答机制给系统留下安全边界。幻觉治理的关键,往往不在一个响亮的新名词里,而在这些容易被忽略的环节里。