评测基准（Benchmark）

基准不只是一份题库

在 AI 评测中，benchmark 通常指一套用于比较系统表现的任务、运行规则和评价方法。题库或数据集提供测什么，指标决定怎样描述结果，而运行规则约定提示词、可用工具、尝试次数等条件。

例如，两套系统都回答同一批问题，但一套能联网查资料、另一套只能直接作答，差异就不只来自模型。说明这些条件，才能知道比较的对象究竟是模型本身，还是包含工具的整套产品。

同一任务可以看不同结果

以整理一份活动通知为例，可以检查日期有没有提取正确、遗漏了多少要求，也可以观察耗时、成本与表达是否清楚。这些维度回答不同的问题，不一定能压缩成一个总分。

Stanford 的 HELM 框架强调同时考察多个场景与指标，并尽量统一运行条件。它也明确承认覆盖范围有限：没有一套基准能穷尽模型的全部用途。

阅读分数时容易混淆什么

“正确率高”不自动意味着更快、更便宜，或更符合自己的使用习惯。不同题集版本、提示词与尝试次数，也可能改变结果。一次生成就答对，与多次尝试后至少答对一次，需要分别说明。

评测基准能帮助追踪特定能力的变化，但把某个榜单当作整体智能或实际可用性的证明，会超出它测量的范围。对于设计风格、写作偏好等主观体验，展示原始结果和任务要求，也能提供有用信息，不必强行合成统一分数。

SOTA、饱和与污染

SOTA 是 State of the Art 的缩写，通常指在声明的时间、任务和比较范围内达到领先表现。需要确认它说的是哪些模型、哪套设置，不能省略范围只理解为“全面最强”。

“评测饱和”通常指成绩接近上限，题集已不容易区分更强系统；它不等于相关能力已经没有难题。“数据污染”则指测试题或相关答案进入训练等过程，导致成绩可能混入对材料的记忆。公开题集是否被接触过，也需要纳入结果解释。