初级

LLM 中的 temperature 和 top-p 分别起什么作用?

英文原题:What do temperature and top-p do in an LLM?

先口头作答,再对照评分要点给自己打 1 到 5 分。下面是评分要点、常见扣分点、参考回答和追问。

中文手册 $9.99,Gumroad 即时下载优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59

练完一遍了? 用英文写下回答,粘贴到免费自查工具打分(工具按英文要点评分)

考察点

是否从机制上理解采样,能按任务选参数,并知道一个实际注意点:低 temperature 并不能保证严格确定的输出。

评分要点

  1. Temperature:在 softmax 之前把 logits 除以 T;T 低分布更尖锐,T 高分布更平坦。
  2. Top-p(nucleus sampling,核采样):只从累计概率达到 p 的最小 token 集合中采样。
  3. 怎么选:抽取、分类和代码用低 temperature(0 到 0.3);头脑风暴和创意文本用中等(约 0.7 到 1.0);一次只调一个参数。
  4. 注意点:即使 temperature 为 0,由于 batching 和浮点误差,多次运行的输出也可能不同。

常见扣分点

认为 temperature 为 0 就意味着每次输出完全相同。

参考回答

两者都控制如何从模型的概率分布中采样下一个 token。Temperature 在 softmax 之前缩放 logits。temperature 接近 0 时,概率最高的 token 几乎总会胜出,输出集中且可重复;temperature 更高时,低概率 token 有更多机会,输出更多样,也更容易出错。

Top-p 不是重塑分布,而是截断分布。top-p 为 0.9 时,模型保留合计覆盖 90% 概率的最小 token 集合,只在其中采样,从而切掉那条由低概率 token 组成的长尾。

实践中我按任务设定 temperature:抽取、分类、SQL 或代码这类只有一个正确答案的任务接近 0,头脑风暴或营销文案更高。我通常只调 temperature 或 top-p 其中一个。我也不会承诺 temperature 为 0 时严格确定,因为 batching 和浮点差异仍可能让输出略有不同;如果需要完全可复现,我会缓存结果。

常见追问

top-p 和 top-k 有什么区别? Top-k 保留固定数量的 token;top-p 保留概率之和达到 p 的可变数量的 token,所以它会随模型的确定程度自动调整。
中文手册想要完整的中文备考方法?

《如何从0到1准备AI Engineer面试》:20 章、5 套答题框架(FLAME、SPARK、FORGE、RISE、EMBER)、100 道题库和 8 周备考计划。

获取中文手册 优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59

更想读英文版?The 0→1 AI Engineer Interview Playbook,$19.99,Gumroad 英文版。也可以先免费领取 Top 30 题 PDF(英文)。

相关链接