AIFlowTime 最新文章列表
最新技巧與應用

· Cloudflare · Auto Router · 模型成本

Auto Router 自動省模型費

Cloudflare 於 2026 年 9 月 30 日公開測試 Auto Router。模型設成 cloudflare/auto 後由閘道挑模型。內部對照與最多省 30% 都只在原文條件下成立,公測期間依官網免費。

Cloudflare 部落格的分享圖,標題是用 AI Gateway 的 Auto Router 降低 AI 支出,右側是路由示意。
圖片來源:Cloudflare

設定 cloudflare/auto

Cloudflare 在 2026 年 9 月 30 日宣布,AI Gateway 的 Auto Router 進入公開測試。用法是把模型名稱設成 cloudflare/auto,由閘道為每個請求挑一個「夠用」的模型,使用者不必每次自己選。

公告寫,公測期間 Auto Router 免費。同一篇沒有寫公測結束後的價格。11 月 4 日的文件也沒有寫日後收費。這篇不補一個公告裡沒有的價錢。

它仍是 beta。省下的錢不是每一個任務、每一個帳號都會發生。下面兩組數字來自 Cloudflare 自己的內部用法,條件不同,不能併成一句「一律省三成」。

部落格內的示意圖。中央一顆暖色球,周圍有多顆淡色球,以線連到一份報表。
圖片來源:Cloudflare

內部對照要看條件

第一組數字是 OpenCode 那條線。公告寫,他們在自己的 OpenCode 環境裡提早試用,相對「只用」OpenAI Sol 與 Anthropic Claude Opus 這類前沿模型,成本最多省到 30%。這是「最多」,而且對照組是只用那些前沿模型,不是對照任意現有流程。

第二組是另一份內部評測:一般知識工作。97 個任務,每個模型每個任務抽 3 次,一共 291 次試驗。工具是模擬的工作區,涵蓋郵件、日曆、Slack、檔案、差旅與財務。任務要模型用這些工具交出可核對的答案,或完成一個動作。信賴區間來自 1 萬次任務層級 bootstrap,每次重抽時保留同一任務裡的 3 次重複。括號裡的 pp 是百分點,不是再乘一次百分比。

模型 成功次數 成功率 總成本 每次成功成本
cloudflare/auto 252/291 86.6%(向上 6.2、向下 6.9 個百分點) 2.10 美元 0.0084 美元
Anthropic Claude Opus 5.5 281/291 96.6%(向上 2.7、向下 3.8 個百分點) 5.91 美元 0.0210 美元
OpenAI GPT-6 Sol 245/291 84.2%(向上 6.5、向下 6.9 個百分點) 2.64 美元 0.0108 美元

公告把這次總成本寫成 Sol 的 80%、Opus 的 35%。表上就是 2.10 美元對 2.64 美元、對 5.91 美元。成功率並沒有高過 Opus:auto 是 86.6%,Opus 是 96.6%,Sol 是 84.2%。公告自己的說法是,它和其它日常主力模型的表現相近,省的是不必為非前沿工作付前沿價錢。這不是所有公司、所有任務的保證。

Cloudflare 部落格上的結果表,列出 cloudflare/auto、Opus 5.5 與 GPT-6 Sol 的成功次數、成功率、總成本與每次成功成本,以及 97 個任務的註腳。
圖片來源:Cloudflare

分類只看最近訊息

閘道先做候選池:拿掉不支援該請求格式或執行方式的模型,再套上這個閘道的憑證、帳單、存取政策與支出上限。上游不健康就先排除,恢復後再加回來。

剩下的候選,分類器只看對話的壓縮視圖,而且偏最新幾輪。公告裡的流程圖寫明:最近訊息、新的輪次優先、純文字、上限 8 KiB。分類器在 Workers AI 上跑,部署於邊緣 GPU。它做兩件事:在 14 種任務類型上給機率(例如寫程式、規劃、研究、資料分析),再為複雜度、歧義、利害、對先前上下文的依賴打 1 至 5 分。

評分矩陣把這些訊號和模型基準成績合在一起。公告用簡化式子寫:效用等於預期品質減去會隨難度調整的成本懲罰。簡單請求裡,價格權重較高,夠用的小模型可以勝出。難度上升,成本懲罰下降,較強的模型更有機會被選上。流程圖上的標籤是「品質等於強度乘增益,分數等於品質減價格」,並註明較難的請求裡價格比較不計較。圖是簡圖,正文那句才是他們給的效用式。

公告另外寫,標價低不一定總成本低。看起來便宜的模型,可能為了解完同一題而用掉不成比例的 token。路由器要壓的是預估的整段軌跡成本,不是只看每百萬 token 的單價。

Auto Router 流程圖。左側是最近訊息,註明新輪次優先、純文字上限 8 KiB。中間是 14 類任務與四項 1 至 5 分的難度,再接到評分與排序後的模型。
圖片來源:Cloudflare

快取與修錯都要算

多輪對話要另看快取。11 月 4 日的文件寫:像聊天或寫程式代理這類多輪,請在每個請求帶 cf-aig-session-id。Auto Router 會讓同一輪沿用同一個模型,請求才吃得到提示詞快取。一輪是一則使用者訊息,加上工具呼叫這類後續請求。文件說 OpenCode 等支援的客戶端會自動帶這個標頭。

沒有 session id,每個請求各自選模型。同一段對話可能換模型,提示詞快取就接不上。文件也提供 cf-aig-turn-id 讓你自己標輪次,以及 cf-aig-no-session-affinity: true 用來關掉黏著,支援的客戶端也適用。

每一輪開始時,只有預期好處蓋過失去快取的成本,才會換模型。例如從簡單問題轉成多檔案的寫程式,它可能改挑更強的模型。9 月 30 日的公告補了設計上的算法:一輪之內快取是熱的,中途換模型很少划算。跨輪則有隨上下文 token 變多而變重的切換懲罰。還握著這段工作階段快取的模型,按較便宜的快取讀取計價。其它候選要按整段上下文重寫的成本計價。換模型還有另一筆帳:多數模型讀不了別的模型的推理 token,換過去可能得用輸出價格重做。公告把「換模型時優先留在同一模型家族」寫成之後想做的事,不是現在已完成的行為。

便宜模型做錯、再由人花時間修,可能比直接用較強的模型更貴。這句不是上面那張表的實驗結果。InfoQ 在 2026 年 11 月 8 日的評論引了從業者的提醒:若還要人額外花時間改結果,較便宜的模型不一定真的省下成本。評論沒有給出 Cloudflare 測到的修錯金額,這裡也不補一個數字。

文件上的回應標頭可以事後對帳。cf-aig-routed-model 是實際服務的模型,cf-aig-routing-reason 是原因。文件裡的例子是 openai/gpt-6-luna 與 cost_optimal_within_pool,那是文件範例,不是這份知識工作評測的結果,也不是你下一個請求會得到的模型。

請求標頭 文件寫的作用
cf-aig-session-id 標出工作階段,開啟同一輪沿用同一模型
cf-aig-turn-id 自己標輪次,蓋過從訊息歷史判斷的結果
cf-aig-no-session-affinity 設成 true 時,每個請求重新選模型
cf-aig-allowed-models 用逗號限制這一次可選的模型,支援 anthropic/* 這類萬用字元
cf-aig-allowed-providers 用逗號限制提供者,例如 openai,anthropic

11 月 4 日文件列出的預設池包括 @cf/deepseek-ai/deepseek-v4-flash-0731、Claude Haiku 5.5、Opus 5.5、Sonnet 5.5、moonshotai/kimi-k3、openai/gpt-6-luna、openai/gpt-6.1-sol、xai/grok-4.7。文件寫這個池會隨時間改。同一頁把 GPT-6 Sol 放在「額外模型」:只有請求標頭對上時,Auto Router 才會選它們。上面那張 9 月 30 日的表,對照的是 Opus 5.5 與 GPT-6 Sol。不能把「表上的對照模型」讀成「你的閘道現在每次都會選到這兩個」。

呼叫格式以較新的文件為準。11 月 4 日文件寫,目前支援 Chat Completions 與 Responses API,WebSockets 還不支援。9 月 30 日公告把「補上 Responses API 與 WebSockets 的完整支援」列在接下來要做的事。兩份日期不同,這裡同時保留。

cloudflare/auto-best 也還不是現在能用的名稱。公告說之後計畫再提供它:同一個分類器與模型池,但不做成本取捨,只挑預期品質最高的模型。

文件的 Session affinity 小節。寫明要帶 cf-aig-session-id,同一輪才沿用同一模型並使用提示詞快取。沒有 session id 時,同一段對話可能換模型。
圖片來源:Cloudflare 文件
想成為 AI 高手?即刻搵 Jacob
看更多最新文章