
有测试称豆包在某次中文大模型幻觉测评中准确率达到 96%,排名第一。听上去很稳。
但换个算法就笑不出来了:4% 的错误率,乘以 3.45 亿月活,乘以每人每天几十次提问——落到具体的人身上,就是每天都有几十万次”自信的错误”。
一、坑在哪:它错在最简单的地方
豆包的翻车有个特点:复杂的题它可能答得不错,最简单的常识反而翻车。
典型的几类:
诗词文常识。 “床前明月光”的下一句被接上网络段子;把某位诗人的朝代搞错;把两句不同诗里的句子拼成”名句”。
历史人物与事件。 混淆秦始皇与汉武帝的功绩,把某件事的年份挪几十年,把 A 人物的名言安给 B 人物。
基础科学与生活常识。 剂量、单位、保质期、法律条文的具体条款,这类”看起来它肯定知道”的东西,恰恰最容易编。
时效信息。 某个政策还生不生效、某家公司还存不存在、某个产品价格是多少——它的知识有截止点,但它不会主动告诉你”我的信息可能过时了”。
二、为什么会这样:流畅的不可靠
这要从语言模型的工作原理说起。它不查数据库,它是在预测下一个最可能的词。这带来两个后果:
第一,它没有”不知道”这个状态。人类不知道时会说”我不清楚”,模型不知道时会生成一个”最像答案”的答案,因为对它的训练目标来说,输出一段流畅文字永远优于输出”我不知道”。
第二,越流畅越危险。一份排版工整、条理清晰、还带小标题的回答,天然让人降低戒心。豆包的语言生成能力强、共情好,这一点反而放大了幻觉的危害——错误被包装得更体面。
清华大学新闻传播学院与人工智能学院的评测显示,当前热门大模型的幻觉率仍超过 19%,虽比两年前大幅下降,但远没到可以无条件信任的程度。
三、怎么避:建立”三查”习惯
查一:凡是能查到出处的,都去查。 诗词、法条、年份、数据、人名——搜索引擎十秒钟的事。原则很简单:AI 给的是草稿,不是结论。
查二:让它给出处,并真的点进去。 加一句”请给出信息来源链接”。它给的链接有时候是编的,所以要点开验证——链接打不开或者内容对不上,整段回答作废。
查三:换一个模型交叉验证。 同一个问题问豆包、问 DeepSeek、问元宝。三个答案一致,可信度高;三个答案打架,说明这题本身有坑,得人工查。这是成本最低的”交叉验证”。
四、哪些内容必须人工核
按风险从高到低,这几类一律不许直接采信:
- 数字、日期、金额、法条条款——错一个字后果严重;
- 人名、机构名、地名——最容易张冠李戴;
- 医疗剂量、化学操作、电气参数——涉及人身安全;
- 考试答案、论文引用——会被追查且后果明确;
- 时效性强的政策、价格、营业信息——模型知识有截止点。
五、进阶:为什么它偏偏栽在常识上
直觉上人们会觉得”复杂的它都会,简单的怎么会错”,但模型的表现恰好相反,原因有三。
第一,训练语料里的噪声在常识区最密集。诗词接龙、历史段子、网络梗——互联网上关于常识的”错误版本”数量远超”正确版本”,而且这些错误版本往往更有传播力、更容易被模型学去。专业领域的错误内容少,反而干净。
第二,高频共现会压过事实。如果语料里”某某名言”经常和某个错误的人名一起出现,模型就会倾向于把它们绑在一起。它学的是”共现概率”,不是”事实真伪”。
第三,常识题没有”不知道”的触发机制。碰到冷门专业问题,模型至少会意识到自己信息不足;碰到”床前明月光下一句”,它觉得自己肯定知道,于是直接生成——而生成的那一刻,段子和原诗的概率可能只差一点点。
理解这三点,你就该明白:越是你觉得”它肯定知道”的问题,越值得顺手核一下。
六、一张表:哪类内容该信几分
| 内容类型 | 建议信任度 | 处理方式 |
|---|---|---|
| 写作润色、思路整理、格式调整 | 高 | 直接用,错别字自己扫一遍 |
| 通用知识解释、概念科普 | 中高 | 可直接使用,关键定义顺手查 |
| 诗词、名言、典故 | 中低 | 必须查原文 |
| 年份、人物、机构名 | 低 | 逐个核对 |
| 数字、金额、法条条款 | 极低 | 一律以官方原文为准 |
| 时效信息(价格、政策、营业状态) | 极低 | 查官方最新公告 |
这张表的用法很简单:越靠下的内容,越不许直接复制出去。上面两行可以放心用,下面三行必须过一遍人手。
七、如果已经踩了:三步补救
第一步,判断错误内容去了哪里。 如果只是留在对话里,删掉即可;如果已经复制进文档、发出去、交给客户,就要按影响范围处理——文档改、已发的更正、交付的主动说明。越早处理成本越低,越晚越被动。
第二步,把这一条错误纳入你的”必查清单”。 踩过一次的坑,往往还会踩第二次。建议在本地建一个清单:哪些类型的内容是必须人工核的,哪些来源是可信的。清单越用越准,几周之后你的核查效率会明显提升。
第三步,给自己设一个”发布前检查”动作。 凡是准备对外发布的内容(文章、方案、报告、朋友圈长文),发布前用三分钟做一件事:把所有具体数字、人名、机构名、日期挑出来,逐个核一遍。这三分钟能拦掉绝大多数常识性错误。
一个务实的判断标准:错误被发现的代价,远高于核查的代价。 核一条名言十秒钟;发出去被人指出错误,代价是你的可信度——这个账怎么算都划算。
八、一句话总结
96% 的准确率是平均值,但你踩到的那一次不是平均——它是 100% 发生在你身上的那一次。 对能查证的事实保持十秒钟的怀疑,是使用豆包最划算的习惯。
