你怎样评估一个 RAG 系统？

我分两部分评估。检索部分，对照标注好的问题到来源配对，用 recall@k、precision@k、MRR 或 nDCG。生成部分，度量 faithfulness（说法被检索内容支撑的程度），以及答案相关性、对照参考答案的正确性和引用准确率。

我用真实用户问题构建 golden set，用对照人工标注校准过的 LLM judge，并跟踪每个答案的延迟和成本。度量 faithfulness 时，我把答案拆成单条说法，逐条和来源核对，报告被支撑的比例，并检查被引用的段落是否真的包含这些说法。除了答案准确率，我也评估拒答的 precision。

答案不好时我会逐环节追踪：正确的文档有没有被导入并正确解析、切分是否合理、是否进入 top-k、排序是否足够靠前、是否放进了 prompt、模型有没有用上？我修复最早出错的那一环。大多数问题出在解析、切分或检索，而不是生成模型。