练完一遍了? 用英文写下回答,粘贴到免费自查工具打分(工具按英文要点评分)
考察点
是否把上下文窗口当作有预算的设计约束,而不是跳过检索或记忆的理由;是否知道模型对长输入的利用并不均匀。
评分要点
- 定义:模型单次调用能关注的最大 token 数,包括 prompt 和生成的输出。
- 成本:prompt 越长,每次调用的价格和首 token 时间越高。
- 质量:模型对长输入的利用不均匀,埋在中间的信息更不容易被可靠使用。
- 设计:用检索、摘要或记忆决定放什么进去,给每个部分(system、历史、检索内容、输出)分配 token 预算,并在自己的任务上测试长上下文表现。
常见扣分点
忘了输出 token 和 prompt 共用同一个窗口。
参考回答
上下文窗口是模型单次请求能关注的 token 总数,包括 system prompt、对话历史、检索到的文档以及它生成的 token。如果输入把窗口塞满,就没有空间留给回答。
大窗口让一些事更简单,比如一次读完整份合同,但它不会省掉设计工作。每多一个 token,每次调用的成本和延迟都会增加,而且模型对各个位置的利用并不一样好;长 prompt 中间的信息不如开头或结尾的信息被可靠使用。
所以我用明确的预算来设计。比如一个客服助手,我会给 system prompt 留固定份额,限制对话历史长度并对较早的轮次做摘要,把最大份额给检索到的段落,并为输出留足空间。检索决定什么值得放进窗口,窗口大小只决定上限。
常见追问
《如何从0到1准备AI Engineer面试》:20 章、5 套答题框架(FLAME、SPARK、FORGE、RISE、EMBER)、100 道题库和 8 周备考计划。
获取中文手册 优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59更想读英文版?The 0→1 AI Engineer Interview Playbook,$19.99,Gumroad 英文版。也可以先免费领取 Top 30 题 PDF(英文)。