初级

embedding 模型和生成式模型有什么区别?

英文原题:What is the difference between an embedding model and a generative model?

先口头作答,再对照评分要点给自己打 1 到 5 分。下面是评分要点、常见扣分点、参考回答和追问。

中文手册 $9.99,Gumroad 即时下载优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59

练完一遍了? 用英文写下回答,粘贴到免费自查工具打分(工具按英文要点评分)

考察点

能否讲清两类模型不同的输出和用途,并说明它们在检索系统里如何配合。

评分要点

  1. Embedding 模型:把一段文本映射成固定长度的向量,语义相近的文本向量也相近(例如用余弦相似度衡量);它不生成文字。
  2. 生成式模型:逐个预测并输出 token,产出文本、代码或结构化数据。
  3. 用途和成本:embedding 用于语义搜索、聚类、去重、分类和推荐;调用便宜得多也快得多,可以把整个语料库一次性向量化。
  4. 两者配合:在 RAG 中,embedding 模型找到候选段落,生成式模型阅读这些段落并写出答案。

常见扣分点

把两个不同模型产生的 embedding 混在同一个索引里。

参考回答

Embedding 模型把文本变成一个固定长度的向量,比如几百或几千个数字。它的训练目标是让语义相近的文本在余弦相似度等度量下彼此接近。它不写任何东西,输出只用于比较。

生成式模型逐个生成 token。写出答案、摘要或 SQL 查询的是它。

两者解决的问题不同,成本也差很多。Embedding 便宜到可以在导入时为数百万份文档计算,所以语义搜索、去重、聚类和简单分类器都靠它。在 RAG 系统里,我对每个 chunk 做一次 embedding,请求时对 query 做 embedding,找出最近的 chunk,然后才付费让生成式模型阅读这几个 chunk 并作答。

常见追问

可以用生成式模型来产生 embedding 吗? 可以取它的 hidden states,但用对比学习目标训练的专用 embedding 模型通常检索效果更好,也便宜得多。
中文手册想要完整的中文备考方法?

《如何从0到1准备AI Engineer面试》:20 章、5 套答题框架(FLAME、SPARK、FORGE、RISE、EMBER)、100 道题库和 8 周备考计划。

获取中文手册 优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59

更想读英文版?The 0→1 AI Engineer Interview Playbook,$19.99,Gumroad 英文版。也可以先免费领取 Top 30 题 PDF(英文)。

相关链接