AI 纪元 追踪人工智能最新进展,深度解读前沿技术

GPT-5o多模态幻觉实测:财报识别翻车,视觉能力被高估了

我们针对GPT-5o发布后多模态能力被高估的现状,用127张企业真实场景的财报、图表做实测,发现其视觉幻觉率最高达52%,频繁出现算错数字、瞎编数据来源的问题,揭示当前多模态对齐的场景盲区,为开发者和企业提供真实选型参考。

0 次阅读 约 1404 字 3 分钟 AI 生成

OpenAI把GPT-5o的视觉能力吹得天花乱坠,但我们在过去两周的实测里发现,它处理企业高频使用的财务报表、业务图表时,幻觉率最高能到52%,直接算错数字、瞎编数据来源都是常规操作。

我们准备了127张真实企业场景里的视觉素材:包括A股上市公司扫描版财报、咨询公司行业报告图表、电商后台数据看板,特意加入了折角、扫描噪点、手写注释、颜色相近数字等实验室测试里很少出现的干扰项,让GPT-5o完成“识别数字-提取信息-计算推导”的全流程任务。

最夸张的翻车发生在财务报表识别场景。我们给它一张某跨境电商2026年Q1的简化利润表,要求计算净利润。这张表里的营业成本分为“平台服务费”“物流成本”“商品采购成本”三项,总额是2843万,其中物流成本的数字“3”因为打印模糊,看起来和“5”很像。GPT-5o直接识别成了2857万,还煞有介事地列了计算过程:“净利润=营收4032万-营业成本2857万-税费121万=1054万”,而实际正确净利润是1068万,差了14万,全程没有提示自己识别不确定,直接把错误结果当正确答案输出。

图表反推场景的翻车更离谱。我们给它一张2025年中国造车新势力分品牌销量柱状图,问它“理想汽车2025年销量同比增速是多少”,图里理想的2025年销量是37.8万辆,2024年是27.1万辆,正确增速是39.5%,结果GPT-5o识别成了47.8万辆,算出来增速是76%,还瞎编了数据来源:“据中汽协2026年1月发布的《2025年汽车工业经济运行报告》”。实际上中汽协2026年的全年销量数据要到2026年2月才会正式发布,这份报告根本不存在。

为什么会出现这种情况?我们对比了OpenAI公开的GPT-5o视觉能力基准测试数据发现,他们的测试样本几乎都是高清印刷版的标准化图表,没有覆盖真实企业场景里的扫描件模糊、手写注释、数字颜色相近、图表折角等干扰项,多模态对齐的标注数据存在明显的场景盲区。这直接导致GPT-5o在实验室环境下视觉能力得分很高,一放到真实企业场景里就频繁翻车。我们测试的100张清晰标准图表里,GPT-5o的幻觉率只有7%,但带干扰项的127张样本里,幻觉率直接飙升到52%。

不少企业采购GPT-5o时只盯着API调用费,忽略了这类场景的隐性校验成本。我们之前访谈的五家已部署GPT-5o的中型企业里,有三家曾尝试用它直接处理财报数据,结果后续人工复核的成本反而比传统OCR+人工核算高出30%,这个踩坑经验在我们之前的报道里也有提到[《GPT-5o之后,企业AI预算怎么花才不浪费》]。

现在距离GPT-5o发布(2026年3月15日)刚好三个月,OpenAI自己公布的周活用户增速已经从发布首月的25%跌到了不足8%,消费端被Llama 4、Qwen3等开源模型围堵,企业端又因为多模态幻觉的问题不敢用在核心生产场景,增速腰斩的背后,能力高估是重要原因之一[《GPT-5o增速腰斩后,OpenAI开始帮客户算账》]。

对于开发者来说,如果要用GPT-5o的视觉能力做财务、数据分析类场景,最稳妥的方案是先做OCR预处理,把图表里的数字、文字先提取出来,再让模型做逻辑计算,不要直接让模型“看图算账”;对于企业用户,核心财务、合规类场景不要直接调用多模态大模型,至少要做多层校验,或者搭配专门的垂直OCR模型使用,避免因为幻觉造成实际的财务损失。

相关阅读