九成工時落在基準盲區
AI 公司發表新模型時，總會附上一長串基準分數。但這些分數測到的，真的是一般人每天在做的工作嗎？Mercor 的研究「美國經濟的基準地圖」想回答這個問題。
Mercor 的結論是：美國 90% 的工作時數，花在現有基準很少或完全沒有涵蓋的任務上（原文：90% of American working hours are spent on tasks with little or no coverage from existing benchmarks）。他們認為，這讓人很難知道 AI 模型在美國人實際做的工作上到底表現如何。
這個 90% 的定義要說清楚：
- 職業與任務來自美國勞工部的 *ONET 分類：923 種職業、共 18,797 項任務。
- Mercor 挑了 29** 個基準（重視公開、代理型任務、貼近真實工作、尚未被前沿模型做到滿分等），由 LLM 評審把每個基準題目對應到 O*NET 任務。
- 一項任務要被至少 5 個基準題目對應到，才算「有涵蓋」。
- 再結合 Hatgis-Kessell 等人以 LLM 推估的「每項任務占工作時間比例」，算出整體工時的涵蓋程度。
Mercor 也強調結果是暫定的：只用 29 個基準，清單不完整必然會低估涵蓋率，而且偏差有多大很難界定。
基準偏愛高曝險大市場
在 923 種職業中，只有 208 種至少有一項任務達到 5 個基準題目；22 個職業家族中，有 6 個完全沒有這樣的職業。部分職業家族的涵蓋情況（有涵蓋的職業數；定義同上：該職業至少有一項任務被 5 個以上基準題目對應到）：
| 職業家族 | 有涵蓋的職業 |
|---|---|
| 電腦與數學 | 29 / 36 |
| 商業與金融 | 33 / 48 |
| 法律 | 5 / 7 |
| 行政事務 | 21 / 51 |
| 醫療專業人員 | 12 / 89 |
| 教育與圖書館 | 9 / 62 |
Mercor 觀察到幾個模式：
- 被評為「容易受 AI 影響」的任務，出現在基準中的機率約是「不易受影響」任務的 6 倍。
- 控制 AI 曝險程度後，薪資總額越大的職業，任務越常出現在基準裡。
- 在同一職業內，被評為最重要的任務，出現在基準中的機率約是最不重要任務的 6 到 10 倍。
例如，基準大量涵蓋律師的任務，但幾乎沒涵蓋同樣容易受 AI 影響的法律秘書或法院書記官的任務。Mercor 認為，規模較小、中等收入的知識工作職業，涵蓋明顯不足。
用自己的工作測模型
Mercor 也指出，要按職業衡量模型能力仍有難題：每個職業的基準題目太少、題目難度與品質不一、多數基準測的是「自動完成」而不是「協助人類」。他們引用 Dingel 與 Neiman 的估計：只有 37% 的美國工作可以完全在家完成，約 63% 的工作含有實體任務，很難放進目前的基準。
以下是本站整理的實用建議（非 Mercor 原文）：
- 別只看總分：模型發表時的基準，多半集中在寫程式、金融分析等少數領域，未必反映你的工作。
- 建立自己的小測驗：挑 5 到 10 件你每週真的會做的任務，用同樣的指示測試兩三個模型，比較結果。
- 測「協助」而不只是「代勞」：看模型能不能幫你更快完成，而不是只看它能不能獨立做完。
