AI 评测系列（07）：自建 Benchmark——从业务需求到评测集

三类场景不能只靠公开 Benchmark

你的业务场景并非 MMLU、HELM、BIG-Bench 的测试对象，它们关注的是通用能力。需要自定义的共有三种情况：

情况 1：业务场景非常特殊

“大众迈腾 B8 车型 2023 款的 DSG 变速箱保修期是多少”，这是企业汽车售后知识库问答系统会收到的用户问题。公开 Benchmark 没有覆盖此类内容，因为企业自身特有的因素包括领域专业度、客户问法与答案格式。

情况 2：数据不可出域

评测数据一旦来自医疗、金融、政务场景，就会涉及敏感信息，因而不能交给第三方评测平台。评测集的构建和运行都需要放在内部完成。

情况 3：质量变化需要持续监控

跑完一次便结束，是公开 Benchmark 的静态特征；自定义 Benchmark 能持续加入新问题、更新 ground_truth，并在模型或知识库每次变更后追踪质量 Delta。

评测集构建流程

Step 1：确定评测场景

不要把所有可能的问题都纳入范围，应先界定这个 Benchmark 所要覆盖的用户意图。

以企业文档问答为例，可按典型场景分类：

# eval_scenarios.yamlscenarios:- id: S01name: 事实查询description: 用户问文档中明确存在的事实examples:- "退款政策是什么？"- "产品质保期多长？"target_metric: Faithfulness (答案不能超出文档内容)- id: S02name: 流程指引description: 用户询问如何完成某个操作examples:- "怎么申请发票？"- "如何修改收货地址？"target_metric: Answer Relevancy + Completeness- id: S03name: 比较判断description: 用户需要比较多个选项examples:- "普通配送和快递配送有什么区别？"- "黄金会员和铂金会员的区别？"target_metric: Context Recall (两个选项的信息都要检索到)- id: S04name: 边界测试description: 知识库中没有答案的问题examples:- "你们支持加密货币支付吗？"（实际不支持）target_metric: Rejection Rate (拒答而不是幻觉)

一个实用的 Benchmark 通常覆盖 4-8 个场景，每个场景 10-20 个问题，总量 50-150 个。太少不统计显著，太多构建成本高。

Step 2：创建问题

方法 A：人工编写（准确度最高，成本也最高）

优点：覆盖真实用户问法，无数据污染风险缺点：慢，每道题需要领域专家审核适合：高安全要求场景，评测集 < 50 题

方法 B：人工审核 LLM 生成结果（推荐）

QUESTION_GEN_PROMPT = """根据以下文档内容，生成 {n} 个测试问题。要求：- 问题要模拟真实用户的问法，使用自然口语- 覆盖以下场景类型：{scenarios}- 不要问文档中没有答案的问题（边界测试除外）- 不要重复问同一个信息点文档内容：{document}输出格式（每行一个问题）：1. [问题]2. [问题]..."""

生成后人工做两件事：

1. 剔除存在歧义、语法错误或重复等明显问题的内容
2. 随机选择问题中的 20%，核实知识库确实提供答案，以此完成抽样验证

方法 C：从生产日志中挖掘（真实性最高）

如果系统已经投入运行，最有价值的来源是从真实用户查询中采样，因为这些是用户实际提出的问题，并非我们的主观猜测。

# 从 Langfuse 或应用日志采样def sample_from_production_logs(logs, n=100):"""采样生产日志中的真实用户查询作为测试问题"""# 去重（相同问题只保留一个）unique_queries = deduplicate(logs)# 按场景类型分层采样stratified = stratified_sample(unique_queries, n)return stratified

Step 3：准备 ground_truth

ground_truth 的质量直接决定评测的可信度。

ground_truth 过于模糊，属于不好的写法：

问题：退款政策是什么？ground_truth：可以退款

与 FAQ 内容对齐且足够具体，是好的 ground_truth：

问题：退款政策是什么？ground_truth：购买后 7 天内可全额退款，7-30 天退 50%，30 天后不退款。退款申请需在订单详情页提交，处理时间 3-5 个工作日。

ground_truth 的编写规范：

• 直接摘录文档内容，不进行改写或概括
• Faithfulness 评测需要重要锚点，因此应保留数字、名词等具体细节
• 若问题存在多个正确答案，应将其全部写入
• “该信息在知识库中不存在”应作为边界测试所用的 ground_truth

Step 4：划分难度层级

与单一的通过率数字相比，难度分层更有价值，因为它能显示系统在哪个难度级别出现问题。

划分为三个难度层：

Easy（应该接近满分）：单文档、单段落能直接找到答案例：问题和答案在同一个 chunk 里，直接检索就能命中Medium（评测真实能力）：需要整合同文档的多个段落，或者答案表述与问题用词差异较大例：问题用"申请发票"，文档里用"开具发票凭证"Hard（暴露系统瓶颈）：需要跨文档推理，或者隐式推断，或者边界情况例："购买了 A 和 B 两个产品，分开退款和合并退款哪个合算？"

初始难度的分配方式：

先运行一遍所有问题，再依据系统的实际表现校准难度：通过率高的划入 Easy，通过率低的划入 Hard，处于中间的划入 Medium。不要凭直觉判断哪道题属于 Hard。

def calibrate_difficulty(eval_results: list[dict]) -> dict:"""根据实际通过率校准难度"""for result in eval_results:score = result["avg_score"]if score >= 0.85:result["difficulty"] = "Easy"elif score >= 0.60:result["difficulty"] = "Medium"else:result["difficulty"] = "Hard"return eval_results

Step 5：版本管理

评测集需要版本控制，原因是：

1. 防范标准漂移：若 ground_truth 被悄然修改，例如“这道题写错了，我改一下”，历史数据便失去了可比性
2. 记录问题集如何演变，包括新增和删除了哪些问题，以及对应原因
3. 支持回溯：能够使用旧版本评测集检验旧版系统

# eval_dataset_v1.2.yamlmetadata:version: "1.2.0"created_at: "2026-06-01"last_updated: "2026-07-01"total_questions: 52breakdown:easy: 20medium: 22hard: 10changelog:v1.2.0:- added 5 questions covering new payment method (Apple Pay)- updated ground_truth for Q023 (refund policy changed)v1.1.0:- calibrated difficulty based on 1000-run baseline- removed 3 duplicate questionsquestions:- id: Q001scenario: S01difficulty: Easyquestion: "退款政策是什么？"ground_truth: "购买后 7 天内可全额退款，7-30 天退 50%，30 天后不退款。"added_in: "1.0.0"last_updated: "1.0.0"

版本号规则：

MAJOR：场景结构重大变化（删除了某个场景类别）MINOR：新增问题，或修改了问题的 ground_truthPATCH：修改元数据、注释、格式，不影响评测结果

评测集的质量自检

正式使用评测集前，完成以下检查：

问题质量：□ 每道题都有唯一的正确答案？（避免主观题）□ 问法多样，不全是"X是什么"格式？□ 没有 leading question（问题里已经给出答案暗示）ground_truth 质量：□ 直接来自文档，没有概括改写？□ 包含足够的具体细节（数字、名词）？□ 边界测试的 ground_truth 明确标注"知识库中不存在"？难度分布：□ Easy 比例不超过 50%（防止整体数字虚高）□ Hard 比例不低于 15%（能暴露真实问题）□ 难度来自实际表现校准，不是主观判断？覆盖度：□ 每个场景（S01-S04）都有至少 5 道题？□ 包含边界测试（知识库中无答案）？□ 生产日志里的高频问题有覆盖？

总结

1. 公开 Benchmark 测通用能力，自定义测业务场景：企业问答系统用 MMLU 评测没有意义，用自己构建的 50-150 道题更能反映真实质量
2. 难度分层比单一通过率更有诊断价值：85% 通过率可能是 Easy 题太多撑起来的；Hard 题通过率才暴露系统真实的边界
3. 评测集本身需要版本控制：ground_truth 变了而不记录版本，历史对比数据就失去了意义

欢迎访问 PrimeSkills —— 一个精心策划的 AI Agent 与技能市场，所有内容均经过真实企业级工作流验证。没有噱头，只有真正有效的东西。

欢迎进入我的个人主页，了解更多实用知识与有趣产品