AI最前沿 88Z.ai 6 月 5 日消息，通义实验室发布通用智能体评测基准PawBench，首次将底座模型与运行框架纳入联合评估。该基准包含大量真实任务与测试单元，覆盖多种模型与框架组合。评测数据显示，不同运行框架间的性能差异显著，同一模型在不同框架下的得分差距可达11.5分，揭示了框架选择对智能体表现的重要影响。
消息要点
- PawBench首次联合评测底座模型与运行框架
- 同一模型换框架分差最高达11.5分
要点
通义实验室正式推出通用智能体评测基准PawBench，这一创新举措首次将底座模型与运行框架（Harness）纳入统一的联合评测体系。PawBench v1.0版本构建了庞大的测试矩阵，内含150道真实任务及4050个测试单元，全面覆盖了9种模型与3种Harness的交叉组合。 评测结果揭示了框架对性能的显著影响。数据显示，不同Harness之间的性能差距最高可达6.4分。更为关键的是，当同一模型切换不同的运行框架时，其得分差异最大可达11.5分。这一发现表明，在评估智能体能力时，不能仅关注模型本身，运行框架的选择同样对最终表现起着决定性作用。
资料来源与整理说明
本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述，未将其视为本站实测或独家采访结论。
- 通义实验室原始资料发布于
以上日期为原始资料发布日期；标题下方日期为本文在 AI最前沿的发布时间。