AIFlowTime 最新文章列表
最新技巧與應用

· Ai2 · XYBench · 評測

XYBench 測問題背後的問題

Ai2 在 11 月 13 日發布 XYBench,共 8,115 題,看模型會不會處理提問背後的目標。其中 6,272 題來自 WikiHow 指南、用 Sonnet 4.5 生成再修飾。評的是英語、單輪、程序性問題。本文沒有重跑。

XYBench 示意圖:人想的是 X,開口問的是 Y,模型一邊沿字面回答 Y,一邊把 X 標成較合適的方向。
圖片來源:Hugging Face/Ai2

Hugging Face 上這篇是 Ai2(艾倫人工智能研究所)的文章,頁面署名 Kyle Wiggers,日期 November 13, 2026。頁面的 datePublished 是 2026-11-13T17:02:35.607Z,香港時間 11 月 14 日 01:02。本文只依據這一篇,沒有下載資料集,也沒有重跑評測。

文章說,XYBench 在 EMNLP 2026 獲得 Best Resource Paper Award。這句出自這篇部落格。本文沒有另外打開會議網頁核對。

想完成 X,開口卻問 Y

文章示意圖:使用者心裡是目標 X,問出口的是做法 Y;模型可以沿著 Y 回答,也可以把回答轉到 X。
圖片來源:Hugging Face/Ai2

XY 問題是:人想完成 X,卻先假定做法 Y 可行,於是只問 Y。文章用杯子蛋糕當說明。糖霜一直從杯子蛋糕上滑下來,人去問怎麼把糖霜調稠。真正的情況可能是蛋糕還太熱,不適合上霜。吸塵器是另一個說明:回答可以花好幾段推薦更強的機器,只順口提一聲檢查軟管。若吸力弱是因為堵塞,清掉堵塞就可能解決。

這兩個都是文章用來解釋評測在看什麼的例子,不是產品功能,也不是本文做過的實驗。

文章評的是單輪回答,每題一則。被評的模型名稱是 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Pro。五個模型常常會給出某個解法,但回答的重心仍放在原來那個被假定的做法。和人類參考答案相比,五個模型都比較少把人從那個做法拉開、改去處理真正的目標。

四個來源合計 8115

文章「Building XYBench」:1,557 題來自 Stack Overflow,184 題來自 Stack Exchange,102 題人工整理,6,272 題由 WikiHow 指南生成。
圖片來源:Hugging Face/Ai2

文章寫總數 8,115 題,並把來源拆開。四個數字加總是 8,115,與文章寫的總數一致。這是對正文四個數字做加法,不是本文重新數過資料集。

來源 文章寫的題數
Stack Overflow 1,557
Stack Exchange 184
人工整理 102
由 WikiHow 指南生成 6,272
四項合計 8,115

公開論壇的題,用得分最高的三則人類回答,以及有的話再加上被接受的回答,來定出真正想問的事和可能的解法。若只回答字面要求就已經夠,那些例子會被拿掉。

WikiHow 這 6,272 題不是論壇上的原始提問。文章寫,他們用 Sonnet 4.5 圍繞操作指南裡說得通的誤解來生成問題,再修飾到專家能從上下文推出目標、但題目沒有把目標直接說破。整份基準不能說成全是人類原來怎麼問的。

文章寫,這份評測與 Carnegie Mellon、NVIDIA、Johns Hopkins 的研究者一起做。涵蓋的是程式,以及烹飪、家裡修理這類日常操作。

三項指標與評審一致

文章說明三項指標:有沒有給出字面解法與目標解法、回答重心放在哪一邊、有沒有指出誤解並拉開錯誤做法。自動評審是 Claude Sonnet 4.5。兩名人工評審各看 500 則後,一致率分別是 97.5% 到 100%、84.6% 到 93.3%、74.2% 到 79.8%。
圖片來源:Hugging Face/Ai2

三項要分開看。

文章裡的名稱 它在量什麼
Pragmatic solution 回答裡有沒有出現字面要求 Y 的解法,以及有沒有出現目標 X 的解法,兩邊分開記
Pragmatic emphasis 重心放在 Y、放在 X,還是兩邊差不多
Misconception identification 有沒有把人帶向 X,同時勸阻或避開錯誤的 Y

自動評審是 Claude Sonnet 4.5。它會分類回答裡的個別建議,並判斷重心放在哪裡。為了看這個評審和人差多少,兩名人工評審各自獨立看了 500 則模型回應。和評審模型的一致率,取兩名評審的平均之後是:某種解法有沒有出現,97.5% 到 100%;誤認識別,84.6% 到 93.3%;語用重點,74.2% 到 79.8%。

最後這一項比較低。自動分數可以當文章裡的評審結果來讀,不能讀成已經和人類判斷完全相同。本文沒有把這些區間平均成一個總分,也沒有把它們擴到所有問題或所有語言。

Stack Overflow 的區間

文章的 Stack Overflow 圖:五個模型與最高分的人類回答,分成有沒有提到底層目標、重心放在哪裡、以及有沒有把人帶離錯誤做法。
圖片來源:Hugging Face/Ai2

上圖是文章裡的 Stack Overflow 比較,長條按模型分開,也畫了最高分的人類回答。本文下面的百分數用文章正文寫出的區間,不把每根長條再平均,也不外推到圖以外的來源。

在 Stack Overflow,字面解法出現在 75% 到 86% 的回應裡,底層目標的解法是 59% 到 71%。出現一次不等於它就是重心。文章自己用吸塵器舉例:順口提到清軟管,仍會把「有底層解法」記下來,即使整篇重心是買一台更強的機器。重心另外量:主要放在底層目標的只有 35% 到 41%,主要放在字面要求的是 47% 到 57%。其餘回應是兩邊的比重差不多。

文章還做了一個 oracle:把字面要求 Y 和目標 X 一起交給模型。在 Stack Overflow,Claude Sonnet 4.6 寫出底層解法的比率從 59% 升到 67%,誤認識別卻從 47% 降到 34%。在有人類參考答案的來源上,這個實驗裡的每個模型,誤認識別仍然落後人類回答。文章的解讀是:把意圖交出去有幫助,但沒有穩定地補上和人類回答的差距。看出意圖只是一部分,模型還要在意圖和字面要求不一致時照著做。

所以「把真正的目標補進提示」在這個實驗裡不是一條單向的改進。底層解法變多的同時,指出誤解的比率可以下降。這是該設定下的觀察,不是本文重測,也不能拿來證明某個模型不能用。

選出目標比自己寫多

文章的另一張 Stack Overflow 圖:模型在字面答案和目標答案之間做選擇時,選目標答案的比率高於它們自己撰寫時把重心放在目標的比率。
圖片來源:Hugging Face/Ai2

另一個實驗把模型放到評審的位置。同一批五個模型,再加上 GPT-4.1,每題看到兩則答案:一則盯著字面要求,一則說明誤解並處理底層目標。文章寫,在 Stack Overflow,六個模型有 71% 到 84% 選了目標那一則。對照主實驗裡那五個模型自己寫答案時,主要把重心放在底層目標的只有 35% 到 41%。

上圖看得見的長條是撰寫實驗的那五個模型。GPT-4.1 出現在正文對這個選擇實驗的說明裡,圖上這張比較沒有把它畫成第六根長條。本文不替它補一個圖上沒有的百分數。

文章把這個差距讀成:認得出哪一則比較有用,和自己寫出那樣的回答,是兩件事。只做選擇題會漏掉這段差距。這仍是該實驗設定下的觀察。

英語程序性問題為主

文章結語:目前涵蓋英語查詢,而且主要是程序性問題;擴到其他語言、文化與對話情境仍是未完成的方向。
圖片來源:Hugging Face/Ai2

文章寫,研究者可以用 XYBench 看提示或訓練的改動,會不會讓模型認出誤解、給出底層問題的解法,並把那個解法放成回答的重心。三項分開量,才看得出某一項前進時,其他項有沒有一起前進。

目前的範圍是英語查詢,而且主要是程序性問題。擴到其他語言、其他文化,以及對話情境,文章寫這仍是開放的方向。本文不把它寫成已經涵蓋中文或粵語。它是一份評測,不是可以裝進正式環境的工具,也沒有安裝步驟。

日常對照這篇時,可以先把「我真正想完成的事」和「我假定可行的做法」分開,再看回答有沒有只跟著後者走。Oracle 那段同時提醒:把目標明講出來,在該實驗裡沒有保證誤認識別也會上升。

想成為 AI 高手?即刻搵 Jacob
看更多最新文章