Artificial Analysis 模型榜单测试项目解读
文章目录
选模型时，先看榜单测的任务是否接近自己的工作。Artificial Analysis 模型榜单把能力、费用和速度放在同一页；HLE、SciCode、AA-LCR、GDPval-AA 等测试，则分别考察学术解题、科研编程、长文理解和职业任务。读懂这些名称，才能知道一个高分具体说明了什么。
可以把榜单分成两部分来读：能力评测回答模型能做对什么，性能与成本指标回答使用它要等多久、花多少钱。 先用相关测试筛选候选，再比较费用和等待时间，比只看综合排名更有用。
截至 2026 年 10 月 15 日，综合指数为 Artificial Analysis Intelligence Index v4.3.2，包含十项评测。阅读旧文章或截图时，需先核对版本，因为计入总分的项目会调整。当前指数说明
首页几列数字分别表示什么
| 指标 | 通俗解释 | 阅读时注意什么 |
|---|---|---|
| Intelligence Index | 多项能力测试按权重合成的总分 | 越高表示在这套评测中整体表现越好，不能直接当成你的任务成功率。 |
| Cost per Task | 完成一项综合评测任务的加权平均 API 成本 | 越低越省；它对应评测工作量，不是你的订阅月费或一个完整项目的报价。 |
| Output Speed / Tokens per Second | 开始生成后，每秒输出多少 token | 越高通常输出越快；token 是文本计量单位，不能直接当作中文字数。 |
| Latency / First Chunk | 从请求发出到收到第一个响应片段，要等多久 | 秒数越低，通常越快开始返回内容；不表示完整答案已经写完。 |
| Total Response / End-to-End Response Time | 收到完整响应总共等多久 | 要连同思考时间、输出长度和测试条件看。 |
| Context Window | 一次请求可容纳的上下文规模 | 容量越大，能放入的材料通常越多；能否正确理解，要看长文档评测。 |
AA 默认的速度测试使用约 10k 输入 token。请求长度、所用端点和网络位置都会影响速度与延迟，因此榜单上的数值应结合你常用的服务渠道来看。性能测试方法、成本与指标定义
模型可能先思考很久，再快速输出。比较 tokens/s 时，也要看它何时开始返回内容，以及完整答案需要多久。
当前十项能力测试在测什么
v4.3.2 分为四组：代理任务占 30%，编程占 20%，通用能力占 30%，科学推理占 20%。十项测试按不同权重合成总分。当前分组与权重
| 测试项目 | 主要在问什么 | 怎样理解成绩 | 总分权重 |
|---|---|---|---|
| AA-Briefcase v1.1 | 给一批工作资料，能否交出合格的表格、演示稿、备忘录等成果？ | 同时看要求完成度、分析质量和呈现质量，综合形成 Elo 评分。 | 15% |
| GDPval-AA v2.1 | 面对不同职业的真实工作题，能否使用工具完成交付？ | 匿名比较不同模型的成果，用 Elo 表示相对表现。 | 10% |
| AutomationBench-AA | 能否操作邮箱、表格、CRM、工单等模拟系统，正确完成业务流程？ | 主分看目标完成比例；某项任务只要触发限制违规，该任务就记零。 | 5% |
| Terminal-Bench 4.0 | 能否在终端里实际执行操作，解决工程、运维、数据和计算任务？ | 每项任务的全部验证测试通过才算成功，报告单次尝试的平均成功率。 | 10% |
| SciCode | 能否把科学知识和推理转成可运行的 Python 程序？ | AA 按测试子题计分，检查程序执行结果；它更偏科研编程。 | 10% |
| AA-Omniscience | 到底知道多少事实？不知道时会承认，还是编一个答案？ | 正确率与幻觉情况要一起看，避免把少回答误读成可靠且有用。 | 15% |
| GDP.pdf | 读过长篇专业 PDF 后，能否依据材料把多项要求答完整？ | 主分 All-pass 要求一次回答满足该题全部评分条件。 | 10% |
| AA-LCR v1.1 | 能否联系长文档不同位置的信息，完成推理并得出正确答案？ | 看开放题答案的平均通过率，反映实际长文理解能力。 | 5% |
| HLE / Humanity’s Last Exam | 能否解答专家设计的高难度数学、科学和人文学术问题？ | 衡量高难度学术知识与推理；AA 使用其中的纯文本题集。 | 10% |
| CritPt | 能否解决研究级物理问题，给出可验证的数值、公式或函数？ | 更适合观察复杂物理推理能力，要核对是否使用工具及相同题集。 | 10% |
能力分数通常越高越好，幻觉率、费用和用时通常越低越好。单项页面可能同时展示几种指标，读数字前先确认选中的是哪一项。
名字接近的测试有什么区别
AA-Briefcase 与 GDPval-AA 都关心实际交付。 前者把任务放进复杂项目背景，要求模型从大量资料中找依据、完成分析并制作文件；后者覆盖多种职业的工作题。它们比单纯问答更接近“把一项工作交给 AI”。不过，AA-Briefcase 当前每个任务独立运行，并不继承模型自己上一项任务的成果，因此不能把它理解成持续工作数周的可靠性测试。AA-Briefcase 任务结构、GDPval-AA 工作任务
AutomationBench-AA 关心系统是否被正确操作。 模型需要调用接口，让数据进入正确的系统，并遵守任务限制。页面上的 Score 与 Tasks Completed 也要分开看：前者按完成的目标比例计分，后者要求任务的全部目标都完成且没有违规。AutomationBench-AA 评分说明
Terminal-Bench 与 SciCode 对编程的要求不同。 Terminal-Bench 让代理在环境里实际做事，再用测试验收。SciCode 要求理解科学问题并写出正确计算程序。如果你主要做网站业务开发，终端执行能力通常更贴近部分工作；如果你做科研计算，SciCode 的内容更值得细看。具体项目仍应试用验证，不能把单项成绩直接换算成某个编辑器或编程代理的成功率。Terminal-Bench 实施条件、SciCode 任务说明
GDP.pdf 与 AA-LCR 都要求读懂材料，但验收重点不同。 GDP.pdf 尤其强调多条件回答的完整性。一个回答满足了大部分要求，仍可能因为漏掉一项而没有通过 All-pass。AA-LCR 更直接关注跨段落、跨材料推理后能否回答正确。两者都比标称 Context Window 更能帮助判断长文档处理能力。GDP.pdf 评分、AA-LCR 说明
pass@1 和 Elo 不能按同一种百分比读
pass@1 表示单次尝试成功的比例。 一道题独立测三次，再对结果求平均，仍然可以报告 pass@1。它不表示允许模型试三次、挑一个成功答案交上来。对于代理任务，一次尝试也可能包含多轮工具调用，而不是只生成一次文字。通用评分方法
Elo 表示同一评测体系里的相对实力。 在 GDPval-AA 中，裁判对匿名成果做两两比较，再拟合评分。分数 1800 不能读成 1800 分满分，也不能解释为达到人类能力的某个百分比。GDPval-AA Elo 定义
综合 Intelligence Index 是各项结果按规则处理、加权后的分数。总分 60 表示模型在这套指数中的表现，不能换算成“我的日常任务有 60% 能做对”。
幻觉率低也要搭配正确率看
AA-Omniscience 同时看模型知道多少，以及它能否识别自己不知道的部分。大量拒答可能减少错误，却未必能解决问题，所以低幻觉率要搭配正确率看。
它还单列一个范围为 -100 到 100 的 Omniscience Index：答对加分、答错扣分、拒答不扣分。这个指数与主榜的 Intelligence Index 是两个指标。页面上的 Hallucination Rate 按“答错 ÷（答错＋部分正确＋未作答）”计算，不能直接当作“所有回答里有多少百分比是假的”。AA-Omniscience 指标定义
如果你用 AI 查事实、整理资料或写报告，可以一起看正确率、幻觉率，再用自己熟悉的资料试一轮，检查它是否会遗漏依据、混淆材料，或者把推测写成事实。
为什么旧截图里的测试项目不一样
有些测试已经移出综合指数，但仍能在独立页面或旧文章中看到。下面这些名称尤其常见。
| 常见项目 | 主要测什么 | 当前阅读方式 |
|---|---|---|
| GPQA Diamond | 高难度科学知识与推理问答 | 已移出当前综合指数。 |
| MMLU-Pro | 多学科知识与推理选择题 | 已移出当前综合指数，属于历史评测。 |
| LiveCodeBench | 以持续收集的编程竞赛题衡量代码能力 | 已移出当前综合指数；不能据此代表当前终端代理成绩。 |
| AIME 2025 | 数学竞赛问题求解 | 已移出当前综合指数。 |
| IFBench | 对格式、计数、文字处理等明确约束的遵循能力 | 仍作为独立项目测试，但不计入当前综合分。 |
项目状态以 AA 的版本历史和独立评测说明为准。比较截图时，先对齐指数版本、单项版本和模型的推理配置。
SciCode 和 CritPt 目前标为 Under review，仍计入 v4.3.2。 相关数据集正在复核，修订和重测可能改变分数，因此小幅领先需要谨慎看待。SciCode 复核说明、CritPt 复核说明
根据工作挑选相关项目
先列出自己最常交给 AI 的任务，再找内容接近的测试。下面的对应关系可作为筛选起点。
| 你的工作 | 可以优先参考的项目 | 仍需自己检查的部分 |
|---|---|---|
| 处理长报告和多份材料 | AA-LCR、GDP.pdf | 能否准确引用你提供的材料，有没有遗漏条件。 |
| 制作分析表格、文档和演示稿 | AA-Briefcase、GDPval-AA | 交付文件能否直接使用，计算与内容是否正确。 |
| 执行脚本、处理工程环境、排查问题 | Terminal-Bench | 你的仓库、依赖、工具权限和测试是否适配。 |
| 做科学计算或复杂学术问题 | SciCode、HLE、CritPt | 题目领域是否相近，代码、推导和结果是否经得起验证。 |
| 跨系统自动处理业务流程 | AutomationBench-AA | 自己系统的权限、业务规则与最终数据是否正确。 |
当前综合评测以英文和文本任务为主，中文写作、图像理解等能力还应结合相应单项看。模型名称后面的 high、max 等配置，以及测试使用的工具环境，也会影响比较条件。评测范围与设置
选出候选模型后，用同一份真实任务试一轮：提供相同材料，要求相同交付物，记录结果是否正确、需要修改多少、等待多久和花费多少。准备购买编程订阅时，再到 Coding Plans 核对套餐包含的模型、额度和使用条件。把榜单表现与自己的试用结果放在一起，才更容易选到适合日常工作的模型。