中级

RAG 和 fine-tuning(微调)分别在什么时候用?

英文原题:RAG vs fine-tuning: when should you use each?

先口头作答,再对照评分要点给自己打 1 到 5 分。下面是评分要点、常见扣分点、参考回答和追问。

中文手册 $9.99,Gumroad 即时下载优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59

练完一遍了? 用英文写下回答,粘贴到免费自查工具打分(工具按英文要点评分)

考察点

是否按问题本身选技术(知识还是行为),从成本最低的迭代开始,并且知道两者是组合关系而不是二选一。

评分要点

  1. 先用 prompting 加一个小型 eval set(评测集),这是最快的迭代方式。
  2. 答案依赖私有或经常变化的知识,或需要引用时,加 RAG。
  3. 需要稳定的格式或风格、用更小的模型降低成本或延迟、基座模型处理不好的领域语言,或长 prompt 也守不住的行为时,做 fine-tuning;经常变的事实不要靠 fine-tuning。
  4. 两者可以组合:知识放检索,行为放权重。

常见扣分点

提议用 fine-tuning 教模型经常变化的事实。

参考回答

我先用 prompting 加一个小型 eval set,因为这是最快的迭代方式。In-context learning(上下文学习)不改权重,改了马上见效,但每次请求都要为额外的 token 付费,而且行为受上下文窗口限制。

当答案依赖私有或经常变化的知识时,我加 RAG。当我需要 prompting 守不住的稳定格式或行为、想用更小的模型降低延迟或成本、或者手里有几千条好样本时,我做 fine-tuning。Fine-tuning 需要数据、评估和重新部署,用它来加入经常变化的事实效果很差。

两者并不互斥:fine-tuning 过的模型再加 RAG 很常见。知识放进检索,行为放进权重。

常见追问

Fine-tuning 和 in-context learning 有什么区别? In-context learning 把指令和示例放进 prompt,不改任何权重。Fine-tuning 用训练样本修改权重,需要数据、评估和重新部署。
中文手册想要完整的中文备考方法?

《如何从0到1准备AI Engineer面试》:20 章、5 套答题框架(FLAME、SPARK、FORGE、RISE、EMBER)、100 道题库和 8 周备考计划。

获取中文手册 优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59

更想读英文版?The 0→1 AI Engineer Interview Playbook,$19.99,Gumroad 英文版。也可以先免费领取 Top 30 题 PDF(英文)。

相关链接