练完一遍了？ 用英文写下回答，粘贴到免费自查工具打分（工具按英文要点评分）
考察点
是否知道模型看到的是 token 而不是字符或单词，并能把它和实际后果联系起来：成本、上下文限制、多语言产品和一些奇怪的错误。
评分要点
- 定义：文本被 BPE（字节对编码）或 unigram 模型（SentencePiece）等算法切成子词单元，每个单元对应一个 ID。
- 成本和限制：价格、延迟和上下文窗口都按 token 计算；同样的内容在部分非英语语言里会占用明显更多的 token，代码和 JSON 也一样。
- 失败模式：数字母、反转字符串、长数字运算困难，因为模型看不到单个字符。
- 实践习惯：预算 prompt 时用目标模型自己的 tokenizer 计数。
常见扣分点
默认任何语言和内容类型都是一个 token 等于一个词。
参考回答
Tokenization 把文本变成模型真正读取的整数 ID。现代 LLM 使用 BPE 等子词 tokenizer：常见词是一个 token，罕见词被拆成几段，任何内容也都能通过字节级兜底表示出来。
它在三个方面有实际影响。第一，一切按 token 计量：价格、延迟和上下文窗口。第二，不同语言和内容类型的 token 效率不同，服务多种语言或大量代码、JSON 的产品，单次请求成本可能高于按英文估算的结果。第三，它能解释一些外人看来很奇怪的错误：模型可能数错单词里的字母，或在长数字运算上出错，因为这些字符被打包进了它看不到内部的 token。
预算 prompt 时，我用目标模型的 tokenizer 计数，而不是按字数估算，因为不同模型家族的 tokenizer 并不一样。
常见追问
为什么 LLM 会数不清一个单词里的字母？ 它看到的是 token 而不是字符，token 内部的字母对它并不直接可见。
中文手册想要完整的中文备考方法？
《如何从0到1准备AI Engineer面试》：20 章、5 套答题框架（FLAME、SPARK、FORGE、RISE、EMBER）、100 道题库和 8 周备考计划。
获取中文手册 优惠码 EARLYBF 立减 40%，截至太平洋时间 11 月 3 日 23:59更想读英文版？The 0→1 AI Engineer Interview Playbook，$19.99，Gumroad 英文版。也可以先免费领取 Top 30 题 PDF（英文）。