tau2-bench
通用能力已核验最近更新 2026-10-04
多轮客服场景基准，衡量多次重复下的可靠率，而非仅看最好成绩。
截至 2026 年 2 月，tau2-bench 的 Telecom 领域最高报告分数达到 99.3% pass^1；但更贴近生产的是 pass^k（连续 k 次成功），而非单次成绩。
关键事实
| 2026 前沿 | Telecom 领域最高 99.3%（pass^1，2026-02 报告） |
|---|---|
| 可信度 | Telecom 榜首已接近饱和——前三名差距不足 0.3 分。更有价值的是 pass^k 指标：它考察 Agent 能否连续 k 次成功，比单次成绩更接近生产可靠性。99.3% 属厂商自报，未经独立复现。 |
| 核验状态 | 已核验 |
| 来源 | tau2-bench score ledger |
FAQ
tau2-bench 测的是什么？
多轮客服场景基准，衡量多次重复下的可靠率，而非仅看最好成绩。
tau2-bench 的 2026 年前沿水平是多少？
Telecom 领域最高 99.3%（pass^1，2026-02 报告）
tau2-bench 可信吗？
Telecom 榜首已接近饱和——前三名差距不足 0.3 分。更有价值的是 pass^k 指标：它考察 Agent 能否连续 k 次成功，比单次成绩更接近生产可靠性。99.3% 属厂商自报，未经独立复现。