中级

什么是 chain-of-thought prompting(思维链提示),什么时候有用?

英文原题:What is chain-of-thought prompting and when does it help?

先口头作答,再对照评分要点给自己打 1 到 5 分。下面是评分要点、常见扣分点、参考回答和追问。

中文手册 $9.99,Gumroad 即时下载优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59

练完一遍了? 用英文写下回答,粘贴到免费自查工具打分(工具按英文要点评分)

考察点

是否知道 chain-of-thought 什么时候值得它的成本,能描述生产中的用法,并理解写出来的推理不一定是真正驱动答案的过程。

评分要点

  1. 定义:让模型在给出最终答案前一步一步推理,或者给出包含推理过程的 few-shot 示例。
  2. 适用场景:多步算术、逻辑、规划、多约束问题;不适用:简单查询、标签清晰的分类、短改写。
  3. 成本:输出 token 更多,成本和延迟更高;是否有用要在同一 eval set 上开关对比。
  4. 生产做法:推理和最终结构化答案分字段输出,只解析最终字段,不把推理当作可信的解释。

常见扣分点

默认给每个 prompt 都加上 chain-of-thought。

参考回答

Chain-of-thought prompting 是让模型在答案之前写出中间推理,方法可以是一条指令,比如要求它一步一步解题,也可以是展示推理过程的 few-shot 示例。因为每个生成的 token 都会影响下一个,把步骤写出来给了模型空间,去完成一步跳不过去的计算。

它对有多个相互依赖步骤的任务帮助最大:应用题、带约束的排期、多跳问答。对情感标签或事实查询帮助不大,而且每次都要付出输出 token 和延迟。

在生产中,我要求推理和最终答案放在不同字段,只解析最终字段,并且通常不把推理展示给用户。我把推理当作有用的调试线索,而不是模型得出答案的证明,因为它未必反映真实的计算过程。对于已经被训练为内部推理的模型,显式的 chain-of-thought 提示通常收益不大。

常见追问

怎样证明 chain-of-thought 对你的任务有帮助? 在同一个 eval set 上分别开启和关闭它运行,对比准确率、成本和延迟。
中文手册想要完整的中文备考方法?

《如何从0到1准备AI Engineer面试》:20 章、5 套答题框架(FLAME、SPARK、FORGE、RISE、EMBER)、100 道题库和 8 周备考计划。

获取中文手册 优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59

更想读英文版?The 0→1 AI Engineer Interview Playbook,$19.99,Gumroad 英文版。也可以先免费领取 Top 30 题 PDF(英文)。

相关链接