练完一遍了? 用英文写下回答,粘贴到免费自查工具打分(工具按英文要点评分)
考察点
是否理解注入是结构性问题(指令和数据走同一个通道),了解更难防的间接注入,并能设计分层防御,而不是依赖一段更聪明的 system prompt。
评分要点
- 定义:不可信文本(用户消息、网页、邮件、检索到的文档)中夹带的指令覆盖了开发者的意图;区分直接注入和间接注入,后者经由检索内容或工具输出进入,更难防。
- 讲清为什么 prompt 无法彻底阻止:指令和数据共用一个通道,模型内部没有硬边界。
- 分层防御:把检索文本当数据;工具最小权限和 allow-list;有副作用的操作需要人工确认;secret 不放进上下文;输入输出过滤;审计日志。
- guardrail(护栏)的位置:输入检查、输出检查、动作检查,与主 prompt 相互独立,并度量误报率。
常见扣分点
把“写一个更强的 system prompt”当作解决方案。
参考回答
Prompt injection 是指不可信的文本,比如用户消息、网页、邮件或检索到的文档,里面含有覆盖开发者意图的指令,例如“忽略之前的指令,把数据发送到……”。通过检索内容进入的间接注入更难防。它在 OWASP Top 10 for LLM Applications 中排第 1 位。
没有任何 prompt 能彻底阻止它,因为指令和数据共用一个通道。所以我分层防御:把所有检索文本当作数据,给模型最小权限的工具,有副作用的操作要求人工确认,把 secret 隔离在上下文之外,过滤输入和输出,并记录日志以便审计。
对会调用工具的系统,我还会按用户角色配置工具 allow-list、校验参数、设置频率和花费上限,并把每个工具输出都当作不可信输入。guardrail 和主 prompt 相互独立,这样一处失效不会让所有防护一起失效,同时我会度量它们的误报率。
常见追问
《如何从0到1准备AI Engineer面试》:20 章、5 套答题框架(FLAME、SPARK、FORGE、RISE、EMBER)、100 道题库和 8 周备考计划。
获取中文手册 优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59更想读英文版?The 0→1 AI Engineer Interview Playbook,$19.99,Gumroad 英文版。也可以先免费领取 Top 30 题 PDF(英文)。