大模型生成文本的底层逻辑是概率预测，逐个token往外吐。这就导致它不可避免地会“一本正经地胡说八道”。预训练赋予了它通用的语言组织能力，但遇到专业领域的知识盲点，或者需要最新时效性的信息时，模型往往会靠编造来填补空白。大模型的训练成本高昂、周期漫长，时效性数据无法及时参与训练，导致知识盲点难以根除。要把大模型真正塞进垂直行业干活，这道“幻觉”坎必须迈过去。
业内目前的主流路线是检索增强生成（RAG）。思路很直接：在模型回答前，先去外部知识库里查一查，把查到的知识喂给模型。这在本质上属于上下文优化，帮助模型更好地理解问题和生成答案。但传统的简单向量检索在面对复杂关联时往往不够用。清华大学软件学院长聘副教授高跃团队牵头，提出了一种超图驱动的检索增强生成方法Hyper-RAG。这项联合西安交通大学、上海大学、北京理工大学等机构的成果，通过建立覆盖全尺度关联的领域知识库及知识超图谱，把关键知识缺失降低了60%，大模型幻觉降低了48%。高跃在中国环境科学学会学术年会上介绍，这为缓解幻觉提供了新的知识表示方式，目前已在多领域得到验证。
检索端喂了准确的知识，生成端也得控制住模型别乱发挥。京东联合清华大学提出了任务感知解码技术（TaD），成果收录于IJCAI 2024。大模型在生成文本时，TaD的核心是让解码过程对任务类型敏感，动态调整置信度。把TaD与RAG搭配起来，就形成了一套组合新疗法：一边用RAG确保输入的知识准确无误，一边用TaD抑制模型在生成时的盲目自信。
无论是检索增强还是解码控制，目前的共识是，单靠大模型自身无法彻底解决幻觉。必须通过外部工程手段干预。算法和框架搭得再好，如果底层数据不行，最终效果也会大打折扣。很多技术团队在使用LangChain等工具搭建行业问答应用时，容易一头扎进模型调参，却忽视了非结构化数据的预处理工作。文档切片的粒度是否合适、向量化的质量高低、元数据的丰富程度，直接决定了检索器能从库里捞出什么有用的东西。如果索引库里全是不相关的噪声数据，再先进的算法也救不回来。把数据洗干净，把知识库梳理好，才是治理大模型幻觉的底线工程。
