開源的是離線核心
DeepSeek 在 GitHub 釋出 DeepInfer,README 把它寫成驅動 DeepSeek 大規模生產服務的高效能推論框架;這次開源的是離線推論與服務大規模所需的核心功能,不是把整套線上叢集原封不動丟出來。
依倉庫說明,目前支援的模型是 DeepSeek-V4.1-Flash。官方列出的功能包括:優化核心與取樣執行期、Attention DP/balanced CP、MoE EP + EPLB、DSpark(以草稿 token 加速解碼,並用信心分數排程驗證)、SWA bounded replay、非同步排程、批次不變推論、確定性取樣,以及結構化輸出(regex/JSON schema/EBNF)等。
同組織的 open-infra 說明也提到:完整內部引擎與早期 vLLM fork、內部叢集工具綁太緊,因此改走抽離元件、與既有開源專案合作的路線;DeepInfer 是這條路上實際落地的倉庫之一。
本文與美國 DHS/聯邦機關移除 DeepSeek 產品的規定無關;這篇只談開源推論工具本身。

完整線上服務還缺什麼
README 明確寫出「完整推論服務仍需要、但本釋出未包含」的項目:
| 仍缺項目 | 官方說明摘要 |
|---|---|
| KV cache 系統 | 未包含在本釋出 |
| VE/Prefill/Decode 分離 | 多數引擎功能已實作,但分離部署未含 |
| Prefill/Decode 的資料並行負載平衡 | 未包含 |
倉庫也附上官方在 SM100 上量測的 Prefill/Decode 曲線圖(標註為 DeepSeek V4.1 Flash)。那些數字是官方自報的基準曲線,本文不另行複測。

硬體門檻與授權
硬體方面,README 只列兩類:NVIDIA SM100 GPU,以及 Huawei Ascend 950 NPU。建置前提還包括 Linux、GCC ≥ 13、Python 3.12、NVIDIA 需 CUDA 13、昇騰需 CANN 9.2。不能把它理解成一般筆電就能跑的套件。
授權方面請同時看三處,結論一致為 Apache-2.0:
- 倉庫根目錄 LICENSE 全文為 Apache License Version 2.0
- pyproject.toml 寫明
license = "Apache-2.0",並指向license-files = ["LICENSE"] - GitHub API 回傳的
license.spdx_id也是Apache-2.0(輔助確認,不是唯一依據)
README 的 License 小節同樣寫「released under the Apache License 2.0」。入門方式是設定 DEEPINFER_ACCELERATOR=nvidia(或 ascend)後執行 ./build.sh,再用 examples/offline_inference.py 跑離線推論;預設會從 Hugging Face 取 DeepSeek-V4.1-Flash-1017 權重。
本文建議:若你只有消費級 GPU,把 DeepInfer 當「可讀的生產推論參考實作」即可;真要跑,先確認是否具備 SM100 或昇騰 950 級硬體與對應工具鏈。

