Toolathlon
通用能力已核验最近更新 2026-10-04
工具十项全能:跨 32 个应用、604 个工具的长程任务基准。
Toolathlon 覆盖 32 个应用、604 个工具、108 个手工任务,平均约 20 轮交互,最佳模型仅达 38.6%(Claude-4.5-Sonnet),开源最佳为 20.1%。
关键事实
| 2026 前沿 | 最高 38.6%(Claude-4.5-Sonnet);开源最佳 20.1%(DeepSeek-V3.2-Exp) |
|---|---|
| 可信度 | 显示 Agent 距离长程任务有多远:108 个手工任务平均约 20 轮交互,跨 32 个应用与 604 个工具,没有任何系统达到 40%。开源最佳约为闭源最佳的一半,是本清单中该差距最大的一个。 |
| 核验状态 | 已核验 |
| 来源 | Toolathlon (arXiv:2510.25726) |
FAQ
Toolathlon 测的是什么?
工具十项全能:跨 32 个应用、604 个工具的长程任务基准。
Toolathlon 的 2026 年前沿水平是多少?
最高 38.6%(Claude-4.5-Sonnet);开源最佳 20.1%(DeepSeek-V3.2-Exp)
Toolathlon 可信吗?
显示 Agent 距离长程任务有多远:108 个手工任务平均约 20 轮交互,跨 32 个应用与 604 个工具,没有任何系统达到 40%。开源最佳约为闭源最佳的一半,是本清单中该差距最大的一个。