练完一遍了? 用英文写下回答,粘贴到免费自查工具打分(工具按英文要点评分)
考察点
是否懂机制(冻结的基座加一个学出来的低秩更新)、为什么便宜、QLoRA 多了什么,以及实际选择:rank、alpha、目标模块、如何发现过拟合。
评分要点
- LoRA(低秩适配):冻结基座权重,为选定矩阵学习低秩更新 W + BA,rank r 较小(常见 8 到 64)。
- 为什么便宜:可训练参数下降几个数量级,adapter 是小文件,多个 adapter 可共用一个基座模型。
- QLoRA:基座以 4-bit 冻结,在上面训练 LoRA adapter,单张 GPU 也能微调大模型。
- 实操:学习率、epoch、rank 和 alpha、目标模块(至少 attention 投影层)、batch size、序列长度;训练 loss 下降而验证 loss 持平或上升时提前停止,保留最佳 checkpoint。
常见扣分点
把 QLoRA(训练时基座为 4-bit 冻结)和为部署而做的模型量化混为一谈。
参考回答
LoRA 冻结基座权重,只为选定矩阵学习一个低秩更新:W + BA,其中 A 和 B 的 rank r 很小,常见 8 到 64。可训练参数下降几个数量级,adapter 是很小的文件,几个 adapter 可以共用一个基座模型。
QLoRA 把冻结的基座保持在 4-bit,在上面训练 LoRA adapter,这让大模型在单张 GPU 上微调成为可能。
最关键的超参数是学习率、epoch 数、rank r 和 alpha、哪些模块加 adapter、batch size 和序列长度。我至少在 attention 投影层上加 LoRA;再加上 MLP 层通常质量更好,但成本更高。如果训练 loss 下降而验证 loss 持平或上升,我会提前停止并保留最佳 checkpoint。
常见追问
《如何从0到1准备AI Engineer面试》:20 章、5 套答题框架(FLAME、SPARK、FORGE、RISE、EMBER)、100 道题库和 8 周备考计划。
获取中文手册 优惠码 EARLYBF 立减 40%,截至太平洋时间 11 月 3 日 23:59更想读英文版?The 0→1 AI Engineer Interview Playbook,$19.99,Gumroad 英文版。也可以先免费领取 Top 30 题 PDF(英文)。