练完一遍了？ 用英文写下回答，粘贴到免费自查工具打分（工具按英文要点评分）
考察点
能否解释为什么更少的比特有助于部署（显存和带宽），说出常用方法，并表现出量化后在自己的任务上检查质量的工程习惯。
评分要点
- 定义：用更少的比特存储权重（有时也包括激活值或 KV cache），比如用 8-bit 或 4-bit 整数代替 16-bit 浮点。
- 显存：权重在 8-bit 下约小 2 倍，4-bit 下约小 4 倍；速度：解码通常受显存带宽限制，每个 token 搬运的字节越少，吞吐往往越高。
- 方法：GPTQ、AWQ 等训练后量化在 4-bit 下对很多模型的质量损失较小；QLoRA 用 4-bit 权重做微调。
- 风险：质量损失不均匀，往往先出现在数学、代码和长上下文任务上，所以要重跑自己的 eval。
常见扣分点
声称量化没有质量代价。
参考回答
量化就是用更少的比特表示模型权重。一个 70 亿参数的模型在 16-bit 下仅权重就要约 14 GB；4-bit 下降到约 3.5 GB，再加上少量 scale 的开销。这可能决定你需要一张大 GPU 还是一张小 GPU 就够，或者一张卡上能放一个副本还是好几个。
它常常还能提速。解码时每生成一个新 token 都要从显存读取权重，所以这一步通常受显存带宽而不是算力限制。每个权重的字节更少，每秒 token 数就更多，小 batch 时尤其明显。
做训练后量化时，我会从 AWQ 或 GPTQ 这类成熟方法的 4-bit 开始，如果质量要求很高就用 8-bit；如果长上下文是瓶颈，也量化 KV cache。然后重跑我们自己的任务 eval，而不只是通用 benchmark，因为退化并不均匀：算术、代码和长上下文检索往往最先受影响。
常见追问
只量化权重和权重加激活一起量化有什么区别？ 只量化权重能减少显存，对受带宽限制的解码有帮助；激活也量化可以加速受算力限制的 prefill 阶段，但更难做到不损失质量。
中文手册想要完整的中文备考方法？
《如何从0到1准备AI Engineer面试》：20 章、5 套答题框架（FLAME、SPARK、FORGE、RISE、EMBER）、100 道题库和 8 周备考计划。
获取中文手册 优惠码 EARLYBF 立减 40%，截至太平洋时间 11 月 3 日 23:59更想读英文版？The 0→1 AI Engineer Interview Playbook，$19.99，Gumroad 英文版。也可以先免费领取 Top 30 题 PDF（英文）。