AIFlowTime 最新文章列表
新工具更新

· llama.cpp · ggml · 本機推論

llama.cpp 升上 1.0

ggml-org 在 11 月 13 日把 libllama 與 libggml 標成 1.0.0。這是推論函式庫的版本:公開 C API 有破壞才升主版本。它不是新模型或桌面應用。超過 150 指的是架構變體。

Hugging Face 文章裡的發布表:llama.cpp v1.0.0 對應 libllama,ggml v1.0.0 對應 libggml。
圖片來源:Hugging Face/ggml-org

ggml-org 在 Hugging Face 的文章日期是 2026 年 11 月 13 日。GitHub 上 v1.0.0 的發布時間是 2026-11-13T10:20:19Z,香港時間同日下午 6 時 20 分。本文沒有安裝這個版本,沒有跑速度,也沒有量記憶體或費用。

文章的社群預覽圖是字標加上 v1.0.0。那是標題卡,不是程式執行畫面,所以沒有用作封面。封面與下一節是文章裡的函式庫表。

升的是兩個函式庫

文章的發布表:llama.cpp v1.0.0 是 libllama,公開標頭在 llama.cpp/include/;ggml v1.0.0 是 libggml,公開標頭在 ggml/include/。
圖片來源:Hugging Face/ggml-org

表上兩列。llama.cpp v1.0.0 是 LLM inference in C/C++,函式庫名稱 libllama,公開標頭在 llama.cpp/include/。ggml v1.0.0 是機器學習的張量函式庫,名稱 libggml,公開標頭在 ggml/include/。

這是推論函式庫的版本號。它不是一顆新模型,也不是一款新的桌面應用程式。同一篇文章末尾另有一句,指向 MacOS 與 Windows 的 Llama 桌面應用。那是文末的另一個連結。本文不把 v1.0.0 當成那個應用的版本號,也沒有打開該連結描述應用功能。

發布 函式庫 公開標頭
llama.cpp v1.0.0 libllama llama.cpp/include/
ggml v1.0.0 libggml ggml/include/

不相容才升主版本

文章的語意化版本表:主版本是 include 裡公開 C API 的破壞性變更,次版本是相容的功能或模型支援,修訂版本是不改 API 的錯誤修正。
圖片來源:Hugging Face/ggml-org

文章說,這組規則適用於 ggml-org 裡使用語意化版本的專案。

變更 升哪一位
主版本 MAJOR ./include 裡公開 C API 的破壞性變更
次版本 MINOR 向後相容的功能、backend 更新、模型支援或 API 增加
修訂 PATCH 不改 API 的錯誤修正

表的 MAJOR 那一列寫的是公開 C API。文章正文另有一句:往後 llama.cpp 與 ggml 會用主版本號表示 API 與 ABI 不相容。

文章正文:今天發布函式庫 v1.0.0;往後 API 與 ABI 不相容會反映在主版本號。
圖片來源:Hugging Face/ggml-org

這句是把不相容標出來,讓下游看得到。它不是「以後不再破壞相容」,也不是「1.0 沒有錯誤」。PATCH 那一列是不改 API 的修正,不是一份沒有問題的保證。

舊介面已從 1.0 移除

v1.0.0 發布說明的 API 清單:移除已棄用的公開函式,並把 NextN API 從 llama-ext.h 移到 llama.h。
圖片來源:ggml-org

發布說明的總覽寫,v1.0.0 移除已棄用的公開 API,並把 NextN/speculative API 放進 llama.h。上圖的清單寫得更細:

  • 移除 llama_set_warmup、35 個已棄用函式、defrag_thold 與 --defrag-thold
  • 把 NextN API 從 llama-ext.h 移入 llama.h,並把 llama_set_embd_state_src 改名為 llama_set_ctx_state_src

圖裡後面還有新增參數與音訊相關項目。那些是同一份清單的其他列,不是「升級不用改程式」的證據。

已經在用這套函式庫的人,要先讀發布說明,再在自己的程式上測試。1.0 不是既有程式零修改,也不是沒有錯誤的保證。

一百五十是架構變體

文章原文:目前支援超過 150 個架構變體,以及主流的 speculative decoding。
圖片來源:Hugging Face/ggml-org

「more than 150 architecture variants」是架構變體,加上文章所說的主流 speculative decoding。它不是剛推出 150 個具名新模型。句中的 150 是連結。本文沒有打開該連結逐一點名,也沒有把變體數重算一遍。

同一份 v1.0.0 說明的總覽,另外點名了這版提到的項目。那些名稱和「超過 150」不是同一件事。

說明裡的名稱 該句的歸類
Kimi-K3.1-Pro、Ripple、xing4_0 三個文字架構
drama-3 TTS
MageVL-Cowork、Kimi-K3.1 vision 視覺

本文沒有下載或執行這些模型。文章用量化、可攜的 C/C++ 與多個 backend,說明不同硬體可以跑模型。它沒有給記憶體門檻,也沒有和雲端比價。本文不補這些數字。

通路表沒有版本欄

文章的散佈表:列出通路與平台,第一列是 pre-release artifacts,表上沒有各通路的版本號。
圖片來源:Hugging Face/ggml-org

文章說想擴大散佈方式,並連到包裝討論。表本身是通路與平台。

通路 平台
Pre-release artifacts Linux、macOS、Windows、Android、iOS
Docker Linux
Debian Linux
Homebrew macOS、Linux
conda-forge Windows、macOS、Linux
MacPorts macOS
Winget Windows
XCFramework iOS、macOS

第一列的名稱就是 Pre-release artifacts。表上沒有各通路目前的版本號。本文沒有查 Homebrew、Debian、Winget 或其他包裝是否已經是 1.0,也不把這張表讀成每一條通路都是穩定版。

伺服器修補代表會連網

v1.0.0 總覽:同一句寫了移除舊 API、具名架構、llama-server 的 SSRF/CORS/DNS rebinding,以及改版的 web UI。
圖片來源:ggml-org

總覽那一句很長。除了移除舊 API 與把 NextN/speculative API 放進 llama.h,它還寫了 OCP FP8 KV、主機記憶體上的 MoE expert cache、外部 PLE shards、上一節的具名架構、llama-server 的 SSRF、CORS、DNS rebinding、MCP 工具取消、/v1/audio/speech、改版的 web UI,以及 ggml 升到 v1.0.0。

web UI 是這次函式庫版本裡 llama-server 的介面說明,不是一款新的桌面應用發布。FP8 與 MoE cache 是說明裡的技術項目。本文沒有測速度、記憶體或費用。

SSRF、CORS、DNS rebinding,以及發布說明裡把 HF_TOKEN 限制在 huggingface.co 主機的那一項,表示伺服器元件會碰到網路。本機推論可以讓提示少送到雲端模型服務。下載模型、llama-server 處理的網址,以及下游應用自己的連線,仍然可能把資料送出裝置。本文沒有抓包,也不把「函式庫可以在本機跑」說成每一個下游軟體的資料都留在機器上。

想成為 AI 高手?即刻搵 Jacob
看更多最新文章