初级

什么是 context window(上下文窗口),它如何影响系统设计?

英文原题:What is a context window and how does it affect system design?

先口头作答,再对照评分要点给自己打 1 到 5 分。下面是评分要点、常见扣分点、参考回答和追问。

中文手册 $9.99,Gumroad 即时下载优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59

练完一遍了? 用英文写下回答,粘贴到免费自查工具打分(工具按英文要点评分)

考察点

是否把上下文窗口当作有预算的设计约束,而不是跳过检索或记忆的理由;是否知道模型对长输入的利用并不均匀。

评分要点

  1. 定义:模型单次调用能关注的最大 token 数,包括 prompt 和生成的输出。
  2. 成本:prompt 越长,每次调用的价格和首 token 时间越高。
  3. 质量:模型对长输入的利用不均匀,埋在中间的信息更不容易被可靠使用。
  4. 设计:用检索、摘要或记忆决定放什么进去,给每个部分(system、历史、检索内容、输出)分配 token 预算,并在自己的任务上测试长上下文表现。

常见扣分点

忘了输出 token 和 prompt 共用同一个窗口。

参考回答

上下文窗口是模型单次请求能关注的 token 总数,包括 system prompt、对话历史、检索到的文档以及它生成的 token。如果输入把窗口塞满,就没有空间留给回答。

大窗口让一些事更简单,比如一次读完整份合同,但它不会省掉设计工作。每多一个 token,每次调用的成本和延迟都会增加,而且模型对各个位置的利用并不一样好;长 prompt 中间的信息不如开头或结尾的信息被可靠使用。

所以我用明确的预算来设计。比如一个客服助手,我会给 system prompt 留固定份额,限制对话历史长度并对较早的轮次做摘要,把最大份额给检索到的段落,并为输出留足空间。检索决定什么值得放进窗口,窗口大小只决定上限。

常见追问

模型支持一百万 token 了,为什么还要用 RAG? 每次调用的成本和延迟、对长上下文的不均匀利用,以及对新鲜且按权限过滤的内容的需求,都仍然支持只检索相关部分。
中文手册想要完整的中文备考方法?

《如何从0到1准备AI Engineer面试》:20 章、5 套答题框架(FLAME、SPARK、FORGE、RISE、EMBER)、100 道题库和 8 周备考计划。

获取中文手册 优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59

更想读英文版?The 0→1 AI Engineer Interview Playbook,$19.99,Gumroad 英文版。也可以先免费领取 Top 30 题 PDF(英文)。

相关链接