AIFlowTime 最新文章列表
AI 重大新聞

· OpenAI · BioBasicsBench · GPT-6 Astra · 評測

AI 讀實驗數據仍會誤判

OpenAI 於 2026 年 11 月 6 日推出 BioBasicsBench:100 題濕實驗原始資料,看模型會不會硬下結論。xhigh 的 66.7% 與 43.8% 是可得分數的平均比例,不是答對率,只測七個 OpenAI 模型。

官方照片:戴青色手套的手拿著培養皿,盤緣手寫標籤被橘色圈標出。左右深色邊是 16:9 留白,沒有裁掉培養皿。
圖片來源:OpenAI

新評估不是新模型

OpenAI 在 2026 年 11 月 6 日介紹 BioBasicsBench。這是一項新的評測,用來量 AI 代理讀不讀得懂日常濕實驗室的原始資料,不是新模型發布。題目有 100 題,分布在五類日常工作:蛋白質方法、影像與流式細胞儀、定量與測定、核酸方法、分子選殖。和 Ligo 一起做。Ligo 是做酵素設計的生技公司。題目來自科學家自己的實驗,每題有評分規準。撰寫者以外的 Ligo 科學家先內部審,濕實驗室的博士級科學家外部審,再做一次內部審。

代理要交結論、測量或建議,並在需要時寫理由。分數打在個別規準上,所以結論對了但理由不完整,和整題都對,可以分開。多數題同時考生物知識、讀圖與數據、抓錯誤,以及是否看得出證據不夠。

類別會重疊,不能把下表加總成 100。參考圖表是輔助材料。

資料類型 含有該類資料的題數
膠體與轉漬 31
流程、筆記與規格 27
表格與儀器匯出 20
實驗台與試劑照片 18
顯微影像 14
儀器畫面與圖 13
定序檔 12
流程影片 7
菌落培養皿 7
參考圖表(輔助) 21
戴青色手套的手拿著培養皿,盤緣手寫標籤被橘色圈標出。
圖片來源:OpenAI

官方說明,圈出的盤緣標籤寫著 LB Kan50,指 kanamycin,和該實驗使用的 ampicillin 不同。GPT-5.6 Sol 看到陰性對照沒有菌落就下結論。GPT-6 Astra 注意到標籤上的抗生素不對,拒絕把這盤當成可靠對照。這是評測裡的一次判讀,不是實驗步驟。封面為了 16:9 在左右補了深色邊,正文這張是同一張照片、沒有那些邊。

比例高仍會看反對照

他們評了七個 OpenAI 模型:GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6 Sol、GPT-6.1 Sol、GPT-6 Luna、GPT-6 Astra。一共 37 種模型與推理力度組合,每種對 100 題各做 5 次,共 18,500 筆。這不是全產業排名。

報告的是 mean reward:每題得分佔該題可得分數的平均比例。不是答對題數,也不是診斷準確率。95% 信賴區間用整題重抽,同一題的 5 次放在一起。xhigh 是這七個模型都有報告的最高推理力度。頁面上還有一張互動圖,橫軸是每題平均輸出 token、對數刻度,橘虛線是 GPT-5,藍實線是 GPT-6,細鬚是 95% 信賴區間。那張圖是網頁元件,沒有單獨的圖片檔,本文不另畫一張。

模型 平均報酬 95% 信賴區間 每題輸出 token
GPT-6 Astra 66.7% 60.3 至 73.1% 4,704
GPT-6.1 Sol 62.0% 55.6 至 68.4% 5,238
GPT-5.6 Sol 43.8% 37.6 至 50.0% 9,099
GPT-6 Luna 38.3% 32.3 至 44.5% 13,120
GPT-5.5 35.4% 29.7 至 41.0% 11,135
GPT-5.4 33.2% 28.3 至 38.4% 13,717
GPT-5.2 31.2% 26.2 至 36.3% 27,620

每一列都是 100 題、每題 5 次。xhigh 的 Astra 66.7% 高於 Sol 的 43.8%,但 Luna 的 38.3% 低於 Sol。輸出 token 更多,不代表這張表上的平均報酬更高。官方把部分 max effort 結果放在上方那張互動圖,不在這張表的每一列。

即使平均報酬較高,Astra 仍會把熟悉的假設蓋過對照。它分得出兩組菌落條帶,卻把較大的產物當成選殖成功,挑了泳道 4、6、7、8。參考答案依對照比較,選的是 5、9、10。視覺上的分組沒錯,身份對反了。官方寫,這樣會在後面拿到不對的質體。本文不把這張圖改寫成操作步驟。

官方註記的電泳圖。泳道 1 至 10,粉紅與青綠標出兩組,第 2、3 道各有一個色框。
圖片來源:OpenAI

圖上粉紅色編號是 4、6、7、8,青綠色是 5、9、10。第 2 道有青綠框,第 3 道有粉紅框,中間各有一條粉紅虛線與一條青綠虛線。官方圖說:粉紅編號對應舊質體條帶,青綠編號對應新產物條帶。

同一張圖有相反外觀

另一類錯誤是把不合自己解釋的觀察放下。Astra 結論說細胞裡的液泡通常比周圍暗,但同一張影像裡也有較亮的。對焦深度一變,對比可以反過來,所以較暗的例子不能變成通則。它看過對比會隨焦點變,仍在最後答案只留下較暗的描述。

這不是臨床判讀,也不是顯微鏡操作說明。

官方顯微圖:對比比較裡標成較暗外觀的那一組。
圖片來源:OpenAI
官方顯微圖:同一組比較裡標成較亮外觀的那一組。
圖片來源:OpenAI

菌落數仍會多算

計數標記對不上單一菌落:靠太近的沒分開、看得到的沒標、空白培養基被標成菌落。官方寫,這一盤相對基準大約多算 12%。在鋪盤體積與稀釋倍數不變時,多算的比例會同樣抬高效率估計。這句是在說明計數誤差的後果,不是稀釋或轉殖步驟。

分數變高,還不等於可以在實驗室做可靠判斷,更不能取代研究員,也不能當成臨床診斷。官方最後寫,追蹤這些能力也是為了理解對生物安全與生物安保的含意。本文停在判讀限制,不提供實驗做法。

官方示例 A。紅圈是 Astra 的計數位置,黑箭指向相鄰菌落之間的那個標記。
圖片來源:OpenAI
官方示例 C。紅圈是計數位置,黑箭指向被標成菌落的空白培養基。
圖片來源:OpenAI
想成為 AI 高手?即刻搵 Jacob
看更多最新文章