练完一遍了? 用英文写下回答,粘贴到免费自查工具打分(工具按英文要点评分)
考察点
是否从机制上理解采样,能按任务选参数,并知道一个实际注意点:低 temperature 并不能保证严格确定的输出。
评分要点
- Temperature:在 softmax 之前把 logits 除以 T;T 低分布更尖锐,T 高分布更平坦。
- Top-p(nucleus sampling,核采样):只从累计概率达到 p 的最小 token 集合中采样。
- 怎么选:抽取、分类和代码用低 temperature(0 到 0.3);头脑风暴和创意文本用中等(约 0.7 到 1.0);一次只调一个参数。
- 注意点:即使 temperature 为 0,由于 batching 和浮点误差,多次运行的输出也可能不同。
常见扣分点
认为 temperature 为 0 就意味着每次输出完全相同。
参考回答
两者都控制如何从模型的概率分布中采样下一个 token。Temperature 在 softmax 之前缩放 logits。temperature 接近 0 时,概率最高的 token 几乎总会胜出,输出集中且可重复;temperature 更高时,低概率 token 有更多机会,输出更多样,也更容易出错。
Top-p 不是重塑分布,而是截断分布。top-p 为 0.9 时,模型保留合计覆盖 90% 概率的最小 token 集合,只在其中采样,从而切掉那条由低概率 token 组成的长尾。
实践中我按任务设定 temperature:抽取、分类、SQL 或代码这类只有一个正确答案的任务接近 0,头脑风暴或营销文案更高。我通常只调 temperature 或 top-p 其中一个。我也不会承诺 temperature 为 0 时严格确定,因为 batching 和浮点差异仍可能让输出略有不同;如果需要完全可复现,我会缓存结果。
常见追问
《如何从0到1准备AI Engineer面试》:20 章、5 套答题框架(FLAME、SPARK、FORGE、RISE、EMBER)、100 道题库和 8 周备考计划。
获取中文手册 优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59更想读英文版?The 0→1 AI Engineer Interview Playbook,$19.99,Gumroad 英文版。也可以先免费领取 Top 30 题 PDF(英文)。