练完一遍了？ 用英文写下回答，粘贴到免费自查工具打分（工具按英文要点评分）
考察点
是否知道每个训练阶段为对话模型带来了什么，能否解释为什么只做过预训练的模型不是好助手，并能把 RLHF 和 DPO 讲清楚而不含糊。
评分要点
- Pre-training（预训练）：在超大文本语料上做下一个 token 预测，带来知识和流畅度，但不会带来助手行为。
- Instruction tuning（指令微调，即 SFT 监督微调）：用 prompt 和回答配对训练，让模型遵循指令和对话格式。
- 偏好调优：RLHF（基于人类反馈的强化学习）先训练 reward model，再在 KL 惩罚下用 RL（如 PPO）优化；DPO 直接在偏好对上优化，不需要单独的 reward model 和 RL 循环。
- 数据漏斗：越往后数据量越小，但筛选越精细。
常见扣分点
说 RLHF 教会了模型新知识；它主要是塑造预训练已经使之成为可能的行为。
参考回答
我把它看成三个职责不同的阶段。预训练是在数万亿 token 上做下一个 token 预测。模型学到事实、语法和一定的推理能力，但你问它问题时，它可能只是接着往下写，因为没有东西教过它像助手那样表现。
指令微调解决这个问题。我们用精选的对话格式 prompt 和回答配对做微调，让模型学会遵循指令、按预期格式回答并在该停时停下。偏好调优再教它在两个看似合理的答案中，人们更喜欢哪个。经典 RLHF 先在人类比较数据上拟合 reward model，再用 PPO 优化策略，并加 KL 惩罚让它不偏离 SFT 模型太远，以免钻 reward model 的空子。DPO 用一个监督式的损失函数，直接在被选中和被拒绝的答案对上训练，达到类似目标，没有单独的 reward model，也没有 RL 循环。
越往后的阶段，数据集越小、筛选越精细：预训练是网络规模，SFT 往往是几万条样本，偏好数据则是比较对。
常见追问
什么时候选 DPO 而不是 PPO 式的 RLHF？ 团队小、手里是离线偏好数据、需要稳定训练时选 DPO。需要在线探索或可复用的 reward model 时，PPO 式 RLHF 更值得。
中文手册想要完整的中文备考方法？
《如何从0到1准备AI Engineer面试》：20 章、5 套答题框架（FLAME、SPARK、FORGE、RISE、EMBER）、100 道题库和 8 周备考计划。
获取中文手册 优惠码 EARLYBF 立减 40%，截至太平洋时间 11 月 3 日 23:59更想读英文版？The 0→1 AI Engineer Interview Playbook，$19.99，Gumroad 英文版。也可以先免费领取 Top 30 题 PDF（英文）。