练完一遍了？ 用英文写下回答，粘贴到免费自查工具打分（工具按英文要点评分）
考察点
能否在两分钟内讲清基本组件，把 self-attention 和 Transformer 取代循环网络的原因联系起来，并接住常见追问（decoder-only、为什么除以 sqrt(d_k)、二次方复杂度）。
评分要点
- 整体形状：由相同的 block 堆叠而成；每个 block 是 multi-head self-attention（多头自注意力）加逐位置的前馈网络（MLP），两者都包在残差连接和 layer normalization（层归一化）里，深层网络才能稳定训练。
- 讲清 self-attention：每个 token 投影成 query、key、value，权重为 softmax(QK^T / sqrt(d_k))，输出是 value 的加权和；任意 token 一步就能从其他 token 取信息，训练时整段序列并行计算。
- 现代 LLM：decoder-only 加 causal masking（因果掩码），训练目标是预测下一个 token，位置信息通常来自 RoPE（旋转位置编码）。
- 点出代价：attention 的计算量和序列长度成 O(n^2) 关系。
常见扣分点
把最初的 encoder-decoder 设计当成如今大多数 LLM 的结构来讲。
参考回答
Transformer 是一组相同 block 的堆叠。每个 block 有 multi-head self-attention，让每个 token 融合其他 token 的信息，还有一个逐位置的前馈网络。两个子层外面都有残差连接和 layer normalization，这样很深的网络也能稳定训练。
在 self-attention 里，每个 token 被投影成 query、key 和 value。注意力权重是 softmax(QK^T / sqrt(d_k))，输出是 value 的加权和。长距离依赖不必经过循环结构的瓶颈，训练时整段序列可以并行处理。代价是计算量和注意力矩阵都随序列长度呈 O(n^2) 增长。
如今大多数 LLM 是 decoder-only：causal masking 让每个 token 只能看到前面的 token，模型的训练目标是预测下一个 token。位置信息来自位置编码，现在通常是 RoPE。
常见追问
《如何从0到1准备AI Engineer面试》：20 章、5 套答题框架（FLAME、SPARK、FORGE、RISE、EMBER）、100 道题库和 8 周备考计划。
获取中文手册 优惠码 EARLYBF 立减 40%，截至太平洋时间 11 月 3 日 23:59更想读英文版？The 0→1 AI Engineer Interview Playbook，$19.99，Gumroad 英文版。也可以先免费领取 Top 30 题 PDF（英文）。