练完一遍了? 用英文写下回答,粘贴到免费自查工具打分(工具按英文要点评分)
考察点
是否知道 chain-of-thought 什么时候值得它的成本,能描述生产中的用法,并理解写出来的推理不一定是真正驱动答案的过程。
评分要点
- 定义:让模型在给出最终答案前一步一步推理,或者给出包含推理过程的 few-shot 示例。
- 适用场景:多步算术、逻辑、规划、多约束问题;不适用:简单查询、标签清晰的分类、短改写。
- 成本:输出 token 更多,成本和延迟更高;是否有用要在同一 eval set 上开关对比。
- 生产做法:推理和最终结构化答案分字段输出,只解析最终字段,不把推理当作可信的解释。
常见扣分点
默认给每个 prompt 都加上 chain-of-thought。
参考回答
Chain-of-thought prompting 是让模型在答案之前写出中间推理,方法可以是一条指令,比如要求它一步一步解题,也可以是展示推理过程的 few-shot 示例。因为每个生成的 token 都会影响下一个,把步骤写出来给了模型空间,去完成一步跳不过去的计算。
它对有多个相互依赖步骤的任务帮助最大:应用题、带约束的排期、多跳问答。对情感标签或事实查询帮助不大,而且每次都要付出输出 token 和延迟。
在生产中,我要求推理和最终答案放在不同字段,只解析最终字段,并且通常不把推理展示给用户。我把推理当作有用的调试线索,而不是模型得出答案的证明,因为它未必反映真实的计算过程。对于已经被训练为内部推理的模型,显式的 chain-of-thought 提示通常收益不大。
常见追问
《如何从0到1准备AI Engineer面试》:20 章、5 套答题框架(FLAME、SPARK、FORGE、RISE、EMBER)、100 道题库和 8 周备考计划。
获取中文手册 优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59更想读英文版?The 0→1 AI Engineer Interview Playbook,$19.99,Gumroad 英文版。也可以先免费领取 Top 30 题 PDF(英文)。