练完一遍了？ 用英文写下回答，粘贴到免费自查工具打分（工具按英文要点评分）
考察点
是否理解稀疏激活，能区分总参数和激活参数，并知道让 MoE 比 dense 模型更难训练和部署的系统成本。
评分要点
- 结构：把 dense 的前馈 block 换成多个 expert 网络加一个 router；每个 token 由 router 选出 top-k 个 expert（常见 k = 2）并合并它们的输出。
- 收益：总参数大但每个 token 的激活参数小，同样训练算力下质量更好。
- 成本：所有 expert 仍要放在显存里；需要 load-balancing loss（负载均衡损失），否则 router 会过度使用少数 expert。
- 部署：expert 并行带来通信开销，低流量时 token 分散到各个 expert，batching 效率变低；高而稳定的流量下最划算。
常见扣分点
只按总参数量比较 MoE 和 dense 模型。
参考回答
在 MoE 层里，Transformer 层中单个前馈 block 被替换成多个 expert（每个都是独立的前馈网络）和一个小的 router。对每个 token，router 给各个 expert 打分，把 token 发给得分最高的几个，常见是两个，再按 router 权重混合它们的输出。Attention 层通常仍是 dense 的。
它的吸引力在于：你获得超大模型的容量，而每个 token 只为其中一小部分付出计算。一个模型的总参数可以是激活参数的好几倍，所以在同样的训练算力下，它通常能比 dense 模型达到更好的质量。
取舍主要是系统问题。显存由总参数决定，因为每个 expert 都得加载到某处。训练需要辅助的负载均衡损失或容量上限，否则少数 expert 会拿到大部分 token。部署时 expert 常被拆到多张 GPU 上，token 要在设备间移动；流量低时每个 expert 只收到很小的 batch，浪费算力。MoE 在高而稳定的流量下最划算。
常见追问
有 8 个 expert 的 MoE 模型，运行成本是 8 倍吗？ 不是；每个 token 的计算量取决于激活的 expert 数（比如 2 个），但显存取决于全部 expert。
中文手册想要完整的中文备考方法？
《如何从0到1准备AI Engineer面试》：20 章、5 套答题框架（FLAME、SPARK、FORGE、RISE、EMBER）、100 道题库和 8 周备考计划。
获取中文手册 优惠码 EARLYBF 立减 40%，截至太平洋时间 11 月 3 日 23:59更想读英文版？The 0→1 AI Engineer Interview Playbook，$19.99，Gumroad 英文版。也可以先免费领取 Top 30 题 PDF（英文）。