← 全部概念

评测与指标

HLE(人类最后的考试)

Humanity's Last Exam

覆盖多个学科的专家难题集,主要检验可核对答案的学术问题;名称并不意味着它能验收全部智能。

更新于

多个学科的专家难题

Humanity’s Last Exam,简称 HLE,由 Center for AI Safety 与 Scale AI 组织,汇集多个学科专家提供的高难度问题。题目包含选择题和短答案题,部分需要同时理解图片与文字。

可以类比为让不同专业的人各出一道有明确答案的难题,再组成一份跨学科试卷。一个问题很难,并不意味着它尚无人解出;它也可能要求非常专门的知识或较长的推理。

“最后的考试”是一种命名

这个名称表达了对学术问答难度的追求,不是公认的智能验收线。项目作者明确区分:在可验证的学术题上取得高分,与独立开展研究、提出新问题和进行开放式创造,仍是不同能力。

因此,HLE 成绩不能独自证明 AGI,也不能概括模型在日常沟通或实际项目中的表现。

比较前确认题集和工具

公开题集经历过纠错和替换,项目也发布了持续修订的 HLE-Rolling。原版、修订版、公开或保留题集,以及只测文字题的子集,都需要分别说明。

联网搜索、代码运行、推理预算和答案评判方式也会影响结果。除了正确率,还可以关注模型是否准确表达自己的把握程度:答错却非常自信,与承认不确定,对使用者的影响并不相同。

来源与延伸阅读