DeepSeek开源推理框架DeepInfer，支持英伟达与昇腾平台

DeepSeek于10月20日宣布开源内部推理框架DeepInfer。框架集成高性能算子与推理引擎，支持分布式推理、推测解码、SWA Bounded Replay和结构化输出，并兼容英伟达与华为昇腾平台。DeepSeek表示，已基于该框架为DeepSeek V4.1Flash提供高吞吐、低延迟的大规模推理服务，后续新模型的推理代码和优化也将持续更新。 配套开源的deepseek-recipe是生产级Token编解码组件，其处理逻辑与DeepSeek官方API对齐。两部分代码均已在GitHub开放，DeepSeek还发布了完整技术报告。