AIFlowTime 最新文章列表
網路趣聞

· StarSkirmish · 基準測試 · 寫程式代理 · StarCraft

StarSkirmish:各家旗艦模型花一小時寫星海爭霸 bot 比賽

StarSkirmish Bench v0.2 讓各家旗艦模型在自家 CLI 裡用一小時寫 StarCraft: Brood War 的神族 C++ bot。GPT-6 Astra 領先;對上頂尖人類 bot 勝率仍只有約 7%。Kai McPheeters 於 2026-10-15 公布結果。

紙製六角地圖上的小機器人與玩具火箭,旁邊筆電顯示抽象圖表
AI 生成圖片

一小時寫一隻星海 bot

StarSkirmish 是一個有點黑色幽默的基準:語言模型要在 1 小時(牆上時間)內,寫出可編譯的 StarCraft: Brood War 神族(Protoss) bot,語言是 C++,介面是 BWAPI 4.4.0,對戰環境是 OpenBW。作者 Kai McPheeters 於 2026 年 10 月 15 日公布 v0.2。

v0.2 的重點更新:改讓 OpenAI、Anthropic、Google、Meta 的旗艦模型,各自跑在自家第一方 CLI(Claude Code、Codex、Antigravity CLI、Muse Code),並用該模型支援的最高推理強度(Gemini 4 Argon 為 high,其餘為 max)。

起點是一隻只會採礦的骨架 bot,外加三隻示範 bot 原始碼,以及 FAP(戰鬥模擬)、BWEM(地圖分析)兩個常見函式庫。時間到時,資料夾裡能編譯的東西就是最終 bot。代理可以編譯、打練習賽、讀摘要與 log;關掉網頁搜尋與外網。

沙漏與寫程式的一小時
AI 生成圖片

Astra 領先,人類仍很強

分數是勝率(0 至 100):每個模型產出 5 隻最終 bot,對上一組固定的人類/示範 bot 名單取平均。頁面寫道:

  • GPT-6 Astra 是 v0.2 最高分,明顯領先第二的 GPT-6.1 Sol。
  • Gemini 4 Argon、Claude Opus 5.5、Claude Fable 5.1 大致並列其後,分數都在 37 至 39 之間。
  • Gemini 4 Argon 名列第 3;Muse Wonder Full 第 7。
  • 對上頂尖人類 bot Stardust、PurpleWave、BananaBrain,最強的 GPT-6 Astra 勝率仍只有約 7%。

成本圖顯示:GPT-6.1 Sol 位在「分數第二、成本約為 Astra 十分之一多一點」的甜蜜區(頁面原句為 just over a tenth)。同模型不同輪次也有落差:Argon 最好與最差相差 18 分,Astra 9 分,Opus 5.5 8 分。

頒獎台隱喻
AI 生成圖片

練習強敵才是關鍵

頁面指出,分數最強的預測因子,是模型在這一小時裡,對名單上 7 隻最強 bot 打了多少練習賽。Astra、Sol、Argon 會在自己還常輸時就早早開打;Wonder Full、Haiku 5.5、GPT-6 Luna 很少或從不這麼做。例外是 Fable 5.1:分數 37,卻幾乎只打弱敵。

比賽設定:神族對神族,三張梯圖(Heartbreak Ridge、Benzene、Destination);摧毀對方所有建築即勝;打滿 60 分鐘(86,400 frames)則比照 BASIL 以擊殺與摧毀建築分數決勝。每個模型的 5 隻 bot 各對 13 隻名單 bot、每張圖 6 場。v0.2 不再讓 LLM bot 互打,改成固定對手,方便跨代比較。

與熱門總榜的相關性變弱(與 Artificial Analysis Intelligence Index 的 Spearman ρ 約 0.26);Astra 在 StarSkirmish 第一,在該指數這 9 個模型裡只並列第 4。頁面認為,較少被當成刷分目標的「長時間、難寫程式」任務,彼此仍較一致。

巨大人類 bot 與小紙機器人
AI 生成圖片

為什麼這則趣聞值得看

獎盃與高大人類 bot 的差距隱喻
AI 生成圖片

本站觀點(非來源內容):這像把「代理寫程式」搬進真的會輸贏的對戰裡:時間到、程式要能編譯、還要跟人類高手 bot 打。分數提醒我們:旗艦模型在封閉任務上已經能排出名次,但離頂尖人類作品仍很遠。本文只轉述公開基準結果,不提供任何遊戲破解或作弊做法。

想成為 AI 高手?即刻搵 Jacob
看更多最新文章