最难发现的错误,往往不像错误

AI 幻觉就是:模型用肯定、完整的语气,说出了没有依据的内容——细节齐全、格式正规,听起来像真事,实际上并不存在或并不成立。

你让模型推荐一本研究某主题的书,它给出书名、作者、出版社和年份,格式看起来完整;但进一步查询发现,那本书根本不存在,作者也没有写过类似作品。这就是典型的 AI 幻觉:危险之处在于可信的外观——信息拼得越完整,读者越容易把表达质量当成事实质量,而细节多和细节有依据是两回事。

一眼看懂 / 示意图

真链接,也可能被错着引用

真链接,也可能被错着引用原文写了什么回答怎样越界只观察20个样本说成所有人都有效尚不能推广说成已经充分证明材料真实存在不能保证引用准确
  1. 01检查存在

    材料是否真实

  2. 02检查支持

    原文是否支持这句结论

假设研究用于说明引用错误,不是任何疗效或研究结论。

为什么会产生没有依据的回答

模型根据训练所得的规律和当前上下文生成输出:它擅长把话说得像样,而事实是否成立要靠材料支撑。缺少信息、材料含糊、错误前提或生成过程中的偏差,都可能导致不准确结果。

模型未必知道自己的答案何时不可靠。验证要靠外部材料:让模型自己保证'绝对不出错'或给自己打分,都不能替代查证。

链接是真的,引用的结论也可能是假的

假设原文写的是:“这次试验只观察了20个样本,还不能推广到其他情况。”模型总结成“研究已证明这套方法对所有人有效”,并附上真实链接。书名、作者和页面都能找到,关键错误却藏在结论被扩大了。

所以核对可以分成三层:这份材料是否存在,材料实际说了什么,回答有没有保留必要条件。另一种情况是你明确要求编一篇童话,模型写出不存在的城堡,那属于约定好的虚构,并非把假事实当真事实。AI幻觉的问题不在于内容新不新奇,而在于它以事实口吻回答现实问题时,给出了没有足够依据的断言。

把核对变成具体动作

涉及书名时去出版方核实,涉及政策时找原文件,涉及数字时重新计算。引用要检查原文是否真的支持那句话,而不只是链接能打开。

先检索资料再让模型回答,能补充依据,但引用错读或生成错误仍可能发生。你也可以让模型标明资料不足之处,把可验证事实与推测分开,从而更容易找出需要复核的部分。