近日開源的研究原型
Anthropic Frontier Red Team 於 2026 年 11 月 2 日發表研究文 Progress on provable inference for large language models，並開源系統 FlashProve。框架是「近日研究／開源原型」，不是今日才首發。
目標：可驗證推理（provable inference）：：使用者不必知道權重，也能用短證明檢查「回應是否由提供者所承諾的那組權重算出」。底層工具是 zkSNARK（零知識簡潔論證）。
單卡約 110 token 每秒
【事實｜Anthropic】 以公開 4-bit 的 Llama 4 Maverick（約 400B 參數 MoE）測量：
- 單顆 H100 產生證明約 110 tokens／秒
- 每個 1,024-token 請求的證明約 19 MB（文中亦寫 18.78 MB）
- 相對同一模型在 vLLM 上的 GPU 時間，約為 70 至 95 倍
- 離線對權重做 commitment 約 39 分鐘（約可服務 1,600 萬次請求後需再 commit）
- 驗證端可不需 GPU；24 執行緒約 17 秒檢查一份證明
先前開源系統慢上許多數量級；官方強調這是中間進度，歡迎他人改進。
證明權重來源不洩露權重
系統分兩階段：離線對權重發布短 fingerprint（commitment）；線上對「此 commitment 的模型在此 prompt 下產出這些 token」給出證明檔。
宣稱性質包含：誠實證明會被接受（completeness）、偽造極難（soundness）、證明不洩露權重（zero-knowledge；不隱藏架構）、證明小且易查（succinctness）。另以 Lean 形式化頂層安全陳述，並釋出 C++／Lean 驗證器。
授權：程式、Lean 證明與文件以 Apache 2.0 釋出（權重需自行依 Meta Llama 4 授權從 HF 取得）。
原型限制要先看清楚
官方 Limitations 寫明這是研究原型，例如：
- 快速可執行程式無與 Lean／論文三者完全一致的形式保證
- 證明的是整數版模型＋greedy decoding；浮點或取樣解碼可能對不齊
- 假設 MoE 架構；不隱藏架構；側信道（如證明耗時）不在範圍內
- 目前上下文至約 1,024 token，遠短於常見聊天視窗
若你關心「API 是否真的跑我所選模型」或稽核／監管場景，FlashProve 是值得追的方向；若要上線產品，仍須把上述限制當硬條件。
