AI最前沿 88Z.ai 8 月 4 日消息，腾讯混元联合清华AIR与东南大学发布E-Bench智能体评测基准。该基准基于王者荣耀、QQ音乐及腾讯会议构建全合成虚拟环境，包含323个状态变更任务及超7.6万条数据。通过引入信息与工具鸿沟机制，有效防止模型依赖记忆捷径。评测显示，11个前沿模型平均成功率仅为54.56%，最强模型Avg@3为73.79%，Pass³指标不足60%。
消息要点
- E-Bench基于三大腾讯应用原型构建全合成环境，通过双重鸿沟设计防止记忆作弊
- 11个前沿模型平均成功率仅54.56%，最强模型Pass³指标未达60%
要点
腾讯混元携手清华AIR及东南大学共同推出E-Bench智能体评测基准。该基准以王者荣耀、QQ音乐和腾讯会议为原型，构建了包含323个改变状态任务及超过7.6万行数据的全合成虚拟环境。为解决传统评测中模型可能凭记忆抄近道的问题，E-Bench特别设计了信息鸿沟与工具鸿沟机制。在针对11个前沿模型的评测中，整体平均成功率仅为54.56%。表现最强的模型在Avg@3指标上达到73.79%，但其Pass³通过率仍低于60%，显示出当前智能体在复杂任务处理上仍有提升空间。
资料来源与整理说明
本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述，未将其视为本站实测或独家采访结论。
- 腾讯混元原始资料发布于
以上日期为原始资料发布日期；标题下方日期为本文在 AI最前沿的发布时间。