DeepSeek 开源生产级推理框架 DeepInfer

要点

DeepSeek 正式宣布将其内部使用的生产级推理框架 DeepInfer 全面开源。此举延续了其在开源领域的布局，此前公司已陆续开放了大模型、TileLang 编译工具以及推理算子库。DeepInfer 核心集成了高性能算子与专用优化引擎，具备强大的工程化能力。在功能特性上，该框架支持分布式推理、推测解码、SWA Bounded Replay 以及结构化输出，能够满足复杂场景下的推理需求。在硬件兼容性方面，DeepInfer 同时支持英伟达与昇腾平台，展现了广泛的适配性。目前，该框架已成功应用于实际生产环境，为 DeepSeek V4.1 Flash 提供高吞吐且低延迟的服务支撑。此外，DeepSeek 还同步开源了 deepseek-recipe 编解码组件，进一步完善了其开源生态体系，为开发者提供更完整的工具链支持。