快讯前沿资讯

Gemini 4 Neon 代理为 AMD 调优内核,Inkling 2 Mini 解码提速近一倍

约 2 分钟阅读

AI最前沿 88Z.ai 11 月 22 日消息,AMD 工程师利用 Google Gemini 4 Neon 作为编程代理,结合 Loom 工具包,在约 4.3 小时内为 Thinking Machines 的开源模型 Inkling 2 Mini 优化了 AMD Strix Halo 平台上的内核。测试显示,优化后的解码速度达到 44.8 tok/s,较 llama.cpp 基准提升 1.88 倍,预填充速度最高提升 5.9 倍。这一成果展示了 AI 代理在数小时内缩小 AMD 在新模型架构上软件差距的能力。

消息要点

  • Gemini 4 Neon 代理在 4.3 小时内完成 Inkling 2 Mini 的 AMD 内核调优
  • 解码速度提升 1.88 倍,预填充速度最高提升 5.9 倍
  • 证明 AI 代理可快速缩小 AMD 在新模型架构上的软件差距

AI 代理加速内核优化

AMD 工程师在搭载 Radeon 8060S 的 Strix Halo 设备上,使用 Google Gemini 4 Neon 作为编程代理,配合 AMD Loom 工具包对 Thinking Machines 新发布的开源权重模型 Inkling 2 Mini 进行内核调优。代理程序处理未修改的 GGUF 文件,经过约 490 次工具调用和 4.3 小时的工作,生成了通过 llama.cpp 正确性检查的软件包。

性能显著提升与行业意义

与最佳 llama.cpp 构建版本相比,优化后的解码速度从 23.8 tok/s 提升至 44.8 tok/s(1.88 倍),在 18k token 提示词下的预填充速度从 249 tok/s 提升至 1,465 tok/s(最高 5.9 倍),四流聚合吞吐量提升 1.86 倍。解码性能达到了内存带宽上限的约 80%。尽管 llama.cpp 对该模型的早期支持仍有提升空间,但此案例证明 AI 代理能在数小时内有效弥补 AMD 在新模型架构上的软件适配差距。

资料来源与整理说明

本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述,未将其视为本站实测或独家采访结论。

  1. @G2AIStack原始资料发布于

以上日期为原始资料发布日期;标题下方日期为本文在 AI最前沿的发布时间。

相关阅读

全部资讯
Ai最前沿