← 全部概念

评测与指标

FrontierMath(数学评测)

FrontierMath

由数学专家编写的高难度数学评测;阅读成绩时,需要分清难度层级、题集版本和允许使用的工具。

更新于

它测什么

FrontierMath 是 Epoch AI 组织数学专家编写的高难度数学评测,涉及数论、分析、几何等领域。这里介绍的是常见的 Tiers 1–4 题集,题目可能要求多步推理、专业知识,以及借助计算验证想法。

其 Tiers 1–4 题集主要要求给出可核验的确定答案,例如整数或数学表达式。官方评测环境允许模型运行 Python,因此这里的表现包含模型与计算工具共同完成任务的能力,不能直接等同于限时笔试。

Tier 与版本分别表示什么

Tier 表示难度层级。Tiers 1–3 从较难的竞赛、大学题延伸到研究生及早期探索性研究任务;Tier 4 是更困难的研究级扩展题集。只写“FrontierMath 得分”,容易混淆不同题集。

版本表示题集在某次修订时的状态。题目和答案可能被修正,收录范围也可能变化。因此,“Tier 4”和“v2”分别回答“测哪一档题”与“使用哪一版题”,不能互相替代。

分数能说明到哪里

比较成绩时,需要一并看题集版本、公开或非公开测试集、尝试次数、时间与计算预算,以及是否允许使用工具。同名基准在不同条件下测出的分数,未必可以直接排列高低。

答对这些数学题能提供数学推理方面的证据,但不能直接证明系统能独立开展整个科研项目,也不等于达到 AGI。题集包含专家难题,不代表每一道题都是数学界尚未解决的公开猜想;高难度与未知答案是两个概念。

来源与延伸阅读

在周报中读到它