快讯前沿资讯

新测试显示AI编程助手在模拟职场中完成率不足一成

约 1 分钟阅读

AI最前沿 88Z.ai 11 月 23 日消息,最新现实世界测试将AI编程助手置于包含同事、项目看板和未完成交接的模拟开发环境中。结果显示,即使是Opus 5.5和Astra等先进模型,在混乱的日常工作中完全解决的任务也不到十分之一。虽然它们在独立任务上表现迅速,但在作为自主开发者时容易迷失方向。

消息要点

  • AI编程助手在模拟职场复杂环境中完全解决任务的比例不足10%
  • 模型在独立任务中表现良好,但在自主开发场景中容易迷失上下文

模拟职场环境下的真实表现

一项新的现实世界测试将AI编程助手置于模拟的开发人员职位中,要求它们在与同事协作、面对项目看板以及处理不完整交接的情况下,独立继续软件开发并可靠地关闭未结工单。在这种混乱的日常 workflow 中,即使是Opus 5.5和Astra等顶尖模型也远未达到预期,完全解决的任务比例低于10%。

独立任务与自主开发的差距

测试表明,这些模型能够快速完成清晰、独立的分配任务。然而,当角色转变为需要长期上下文管理和自主决策的开发者时,它们往往会失去对整体进度的跟踪。这一结果揭示了当前AI编码代理在处理复杂、非结构化工作环境时的局限性,尽管其在隔离测试中表现优异,但在实际模拟职场中的可靠性仍有巨大提升空间。

资料来源与整理说明

本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述,未将其视为本站实测或独家采访结论。

  1. the-decoder.com原始资料发布于

以上日期为原始资料发布日期;标题下方日期为本文在 AI最前沿的发布时间。

相关阅读

全部资讯
Ai最前沿