AIFlowTime 最新文章列表
新工具更新

· DeepSeek · DeepInfer · 推論框架 · 開源

DeepInfer 離線推論開源

DeepSeek 開源其生產推論框架的離線核心 DeepInfer,目前支援 DeepSeek-V4.1-Flash,硬體需 NVIDIA SM100 或華為昇騰 950。README 列有優化核心、MoE 並行、DSpark 等功能,並說明完整線上服務仍缺 KV cache 與 Prefill/Decode 分離等。授權為 Apache-2.0(LICENSE 與 pyproject.toml 皆寫明)。

GitHub 上 deepseek-ai/DeepInfer 倉庫預覽卡
圖片來源:GitHub(deepseek-ai/DeepInfer)

開源的是離線核心

DeepSeek 在 GitHub 釋出 DeepInfer,README 把它寫成驅動 DeepSeek 大規模生產服務的高效能推論框架;這次開源的是離線推論與服務大規模所需的核心功能,不是把整套線上叢集原封不動丟出來。

依倉庫說明,目前支援的模型是 DeepSeek-V4.1-Flash。官方列出的功能包括:優化核心與取樣執行期、Attention DP/balanced CP、MoE EP + EPLB、DSpark(以草稿 token 加速解碼,並用信心分數排程驗證)、SWA bounded replay、非同步排程、批次不變推論、確定性取樣,以及結構化輸出(regex/JSON schema/EBNF)等。

同組織的 open-infra 說明也提到:完整內部引擎與早期 vLLM fork、內部叢集工具綁太緊,因此改走抽離元件、與既有開源專案合作的路線;DeepInfer 是這條路上實際落地的倉庫之一。

本文與美國 DHS/聯邦機關移除 DeepSeek 產品的規定無關;這篇只談開源推論工具本身。

GitHub deepseek-ai/DeepInfer 倉庫頁截圖
圖片來源:GitHub 頁面截圖(2026-10-20)

完整線上服務還缺什麼

README 明確寫出「完整推論服務仍需要、但本釋出未包含」的項目:

仍缺項目 官方說明摘要
KV cache 系統 未包含在本釋出
VE/Prefill/Decode 分離 多數引擎功能已實作,但分離部署未含
Prefill/Decode 的資料並行負載平衡 未包含

倉庫也附上官方在 SM100 上量測的 Prefill/Decode 曲線圖(標註為 DeepSeek V4.1 Flash)。那些數字是官方自報的基準曲線,本文不另行複測。

DeepInfer 官方 Prefill 吞吐量與延遲曲線
圖片來源:DeepSeek DeepInfer README(官方自報)

硬體門檻與授權

硬體方面,README 只列兩類:NVIDIA SM100 GPU,以及 Huawei Ascend 950 NPU。建置前提還包括 Linux、GCC ≥ 13、Python 3.12、NVIDIA 需 CUDA 13、昇騰需 CANN 9.2。不能把它理解成一般筆電就能跑的套件。

授權方面請同時看三處,結論一致為 Apache-2.0:

  1. 倉庫根目錄 LICENSE 全文為 Apache License Version 2.0
  2. pyproject.toml 寫明 license = "Apache-2.0",並指向 license-files = ["LICENSE"]
  3. GitHub API 回傳的 license.spdx_id 也是 Apache-2.0(輔助確認,不是唯一依據)

README 的 License 小節同樣寫「released under the Apache License 2.0」。入門方式是設定 DEEPINFER_ACCELERATOR=nvidia(或 ascend)後執行 ./build.sh,再用 examples/offline_inference.py 跑離線推論;預設會從 Hugging Face 取 DeepSeek-V4.1-Flash-1017 權重。

本文建議:若你只有消費級 GPU,把 DeepInfer 當「可讀的生產推論參考實作」即可;真要跑,先確認是否具備 SM100 或昇騰 950 級硬體與對應工具鏈。

示意:SM100 級伺服器與一般筆電的差距
AI 生成圖片
想成為 AI 高手?即刻搵 Jacob
看更多最新文章