中级

LLM 为什么会产生幻觉,怎样减少?

英文原题:Why do LLMs hallucinate, and how do you reduce it?

先口头作答,再对照评分要点给自己打 1 到 5 分。下面是评分要点、常见扣分点、参考回答和追问。

中文手册 $9.99,Gumroad 即时下载优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59

练完一遍了? 用英文写下回答,粘贴到免费自查工具打分(工具按英文要点评分)

考察点

能否用一句话讲清根因,给出生产系统真正能用的分层缓解手段,并说明如何度量这个问题,而不只是描述它。

评分要点

  1. 根因:模型被训练去生成看起来合理的续写,而不是核实事实,它也没有内置的“我不知道”信号。
  2. 分层缓解:grounding(基于检索到的来源作答)并要求引用;允许并鼓励“我不知道”;用 schema 和枚举约束输出,事实类任务调低 temperature。
  3. 事后校验:用自动校验器把答案中的说法和来源逐条核对。
  4. 度量:把答案拆成单条 claim,用 NLI 模型或 LLM judge 逐条核对,报告有来源支撑的比例,并检查引用段落是否真的包含该说法。

常见扣分点

认为换更大的模型或写更严格的 prompt 就能解决幻觉。

参考回答

模型被训练去生成看起来合理的续写,而不是核实事实,它也没有内置信号告诉自己哪些不知道。所以即使答案没有依据,它也会写出很流畅的文字。

我分层来减少它:让答案基于检索到的来源并要求引用;允许并奖励“我不知道”这条路径;用 schema 或枚举约束输出;事实类任务调低 temperature;最后用自动校验器把说法和来源对一遍。

度量时,我把每个答案拆成单条 claim,用 NLI 模型或 LLM judge 逐条和提供的来源核对,报告被支撑的比例。再配合引用检查:被引用的段落里真的有这条说法吗?

常见追问

RAG 系统应该怎样决定回答“我不知道”? 结合检索或重排序分数低于校准阈值、没有能回答问题的 chunk、以及对草稿答案做来源校验这几个信号。除了答案准确率,也要评估拒答的 precision。
中文手册想要完整的中文备考方法?

《如何从0到1准备AI Engineer面试》:20 章、5 套答题框架(FLAME、SPARK、FORGE、RISE、EMBER)、100 道题库和 8 周备考计划。

获取中文手册 优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59

更想读英文版?The 0→1 AI Engineer Interview Playbook,$19.99,Gumroad 英文版。也可以先免费领取 Top 30 题 PDF(英文)。

相关链接