练完一遍了？ 用英文写下回答，粘贴到免费自查工具打分（工具按英文要点评分）
考察点
是否针对自己的任务评估应用，而不是引用公开 benchmark；能否搭建评测集，让 LLM judge 可信，并把评估接入发布流程。
评分要点
- 说清难点：输出开放、正确答案不止一个、质量有多个维度（正确性、忠实度、语气、安全）、小改动就会改变行为。
- 自建任务评测集：真实或接近真实的输入，覆盖常见情况、边界情况和已知失败，写好期望输出或评分标准，做版本管理，起步 50 到 200 条，留出一部分永不用于调 prompt。
- 评分方式：先用精确匹配和程序化检查，再用校准过的 LLM judge（用模型当评审），最后人工复核；judge 要有精确 rubric、参考答案、先给理由再打分、交换顺序、对照人工标注校准。
- 离线评测作为 CI 回归测试拦截退化；线上用 A/B 测试、用户反馈、任务完成率衡量。
常见扣分点
用公开 benchmark 分数代替针对任务的评测集来回答。
参考回答
评估 LLM 应用难在输出开放、正确答案可能有很多、质量有多个维度（正确性、忠实度、语气、安全），而且 prompt 或模型的小改动就会改变行为。所以我会搭建针对任务的评测集，而不是依赖公开 benchmark。
我从真实或接近真实的输入出发，覆盖常见情况、边界情况和已知失败，为每条写好期望输出或评分标准，并做版本管理。起步 50 到 200 条，再从线上失败案例里不断补充，并留出一部分从不用于调 prompt。
评分时，能用精确匹配和程序化检查的就用，不能的再用 LLM judge。judge 拿到精确的 rubric 和参考答案，先写简短理由再打分；我会交换答案顺序来控制位置偏差，并用人工标注来校准。
离线方面，每次改 prompt、模型或检索都会在 CI 里跑这套评测，关键指标跌破阈值就阻止上线。线上方面，我通过 A/B 测试、用户反馈、任务完成率和抽样复核来衡量真实表现。离线把关发布，线上告诉我用户是否真的受益。
常见追问
离线评估和线上评估有什么区别？ 离线评估在发布前跑固定评测集，用来发现退化。线上评估通过 A/B 测试、反馈、任务完成率和抽样复核衡量真实表现。
中文手册想要完整的中文备考方法？
《如何从0到1准备AI Engineer面试》：20 章、5 套答题框架（FLAME、SPARK、FORGE、RISE、EMBER）、100 道题库和 8 周备考计划。
获取中文手册 优惠码 EARLYBF 立减 40%，截至太平洋时间 11 月 3 日 23:59更想读英文版？The 0→1 AI Engineer Interview Playbook，$19.99，Gumroad 英文版。也可以先免费领取 Top 30 题 PDF（英文）。