练完一遍了? 用英文写下回答,粘贴到免费自查工具打分(工具按英文要点评分)
考察点
是否按问题本身选技术(知识还是行为),从成本最低的迭代开始,并且知道两者是组合关系而不是二选一。
评分要点
- 先用 prompting 加一个小型 eval set(评测集),这是最快的迭代方式。
- 答案依赖私有或经常变化的知识,或需要引用时,加 RAG。
- 需要稳定的格式或风格、用更小的模型降低成本或延迟、基座模型处理不好的领域语言,或长 prompt 也守不住的行为时,做 fine-tuning;经常变的事实不要靠 fine-tuning。
- 两者可以组合:知识放检索,行为放权重。
常见扣分点
提议用 fine-tuning 教模型经常变化的事实。
参考回答
我先用 prompting 加一个小型 eval set,因为这是最快的迭代方式。In-context learning(上下文学习)不改权重,改了马上见效,但每次请求都要为额外的 token 付费,而且行为受上下文窗口限制。
当答案依赖私有或经常变化的知识时,我加 RAG。当我需要 prompting 守不住的稳定格式或行为、想用更小的模型降低延迟或成本、或者手里有几千条好样本时,我做 fine-tuning。Fine-tuning 需要数据、评估和重新部署,用它来加入经常变化的事实效果很差。
两者并不互斥:fine-tuning 过的模型再加 RAG 很常见。知识放进检索,行为放进权重。
常见追问
Fine-tuning 和 in-context learning 有什么区别? In-context learning 把指令和示例放进 prompt,不改任何权重。Fine-tuning 用训练样本修改权重,需要数据、评估和重新部署。
中文手册想要完整的中文备考方法?
《如何从0到1准备AI Engineer面试》:20 章、5 套答题框架(FLAME、SPARK、FORGE、RISE、EMBER)、100 道题库和 8 周备考计划。
获取中文手册 优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59更想读英文版?The 0→1 AI Engineer Interview Playbook,$19.99,Gumroad 英文版。也可以先免费领取 Top 30 题 PDF(英文)。