快讯前沿资讯

英伟达研究人员称超大AI上下文窗口是死胡同

约 1 分钟阅读

AI最前沿 88Z.ai 11 月 22 日消息,英伟达研究人员指出,语言模型通常不需要使用完整的上下文窗口,因为这种方式速度慢、成本高且容易出错。他们提出了一种替代方案,通过定期总结和针对性关键词搜索,以极低的成本达到与全上下文处理相当的效果,并建议开发基于短笔记而非长上下文的新类模型。

消息要点

  • 英伟达指出全上下文窗口存在速度慢、成本高及易出错的问题
  • 定期总结与关键词搜索能以低成本实现同等效果
  • 建议开发基于短笔记而非长上下文的新类模型
英伟达研究人员探讨AI上下文窗口效率问题
英伟达研究人员探讨AI上下文窗口效率问题

全上下文窗口的局限性

英伟达研究团队认为,当前语言模型中巨大的上下文窗口往往是一种资源浪费。在实际应用中,处理完整的长上下文不仅速度缓慢、费用高昂,还更容易引入错误。研究表明,大多数情况下模型并不需要利用全部可用的上下文信息来完成特定任务,这种盲目追求大窗口的做法可能是一条技术死胡同。

高效替代方案与新模型构想

作为替代方案,研究人员在测试中发现,采用定期生成摘要和针对性关键词搜索的方法,通常能够以极低的成本获得与使用完整上下文相当的结果。基于这一发现,团队甚至提出了一类新型模型的概念,这类模型不再依赖漫长的上下文输入,而是通过处理简短的笔记或摘要来工作,从而显著提升效率并降低成本。

资料来源与整理说明

本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述,未将其视为本站实测或独家采访结论。

  1. the-decoder.com原始资料发布于

以上日期为原始资料发布日期;标题下方日期为本文在 AI最前沿的发布时间。

相关阅读

全部资讯
Ai最前沿