選好硬體就能看實際速度
想在自己電腦上跑大型語言模型，最常卡在一個問題：這張卡跑起來到底多快？llmspeed 這個網站的標語就是「在買之前，先感受本地 LLM 的速度」。
依 GitHub README，用法很直接：選一張 GPU 或一台 Mac，再選一個模型，網站就會讓回答以預測的速度串流出來，包括第一個 token 出現前的等待時間。主要功能有：
- 即時模擬：文字以預測的每秒 token 數串流，前面先等待依提示長度估算的首字時間。
- 競速模式：兩套配置並排比較，例如 5090 對上 Mac Studio。
- 記憶體是否裝得下：看模型在各種量化下能不能放進記憶體、需不需要部分卸載到系統 RAM。
- 30 款 GPU、Mac 與 CPU × 15 個熱門模型，涵蓋 CUDA、Metal、ROCm、Vulkan 與 CPU。
- 可分享連結：任何配置或比賽都能產生連結。
三種標籤告訴你多可信
每個估計值都會標示可信度：
| 標籤 | 意思 |
|---|---|
| Measured（實測） | 在完全相同的硬體、模型與量化下跑過基準 |
| Derived（推估） | 從相近配置的實測數據內插而來 |
| Projected（推算） | 依硬體規格計算，例如已發表但尚未上市的硬體 |
實測數據來自 r/LocalLLaMA、localscore.ai、llama.cpp 討論區等社群。沒有實測時，README 說明它改用基本原理估算：產生速度受記憶體頻寬限制，每個 token 都要把啟用的權重讀一次，MoE 模型只計算啟用參數；處理提示則受運算力限制。
模型裝不裝得進記憶體
記憶體估算會把權重、KV 快取與執行期開銷加總，和可用記憶體比較。README 的設定是：Mac 統一記憶體約可用 75%，獨立顯示卡的 VRAM 約可用 93%。部分卸載則用混合模型計算：留在 GPU 的部分以 GPU 頻寬串流，溢出的部分以系統 RAM 的有效頻寬計算。
README 首頁的示範影片就是一個例子：在 GLM-5.3 Flash（Q8）上比較 RTX 5090 與 Mac Studio M5 Ultra 512GB，5090 裝不下這個模型。
估算限制與貢獻方式
README 列出的限制：
- 只模擬單一裝置，還不支援多 GPU。
- 是估計不是保證：驅動程式、引擎版本、flash attention、功耗限制與散熱，都可能讓實際數字差 10% 到 30%。
- 推算數字會在有實測後被取代。
專案採 MIT 授權。如果你手上有硬體，可以用 llama-bench -m your-model.gguf -p 512 -n 128 跑一次，再發 PR 把結果加進 benchmarks/submissions.csv。
本站建議（非來源內容）：買硬體前，先用競速模式比較兩三個預算內的選項，特別留意標成 Projected 的數字，最好再找一筆 Measured 的實測佐證。
