AIFlowTime 最新文章列表
網路趣聞

· OpenAI · AI agent · AI 安全

OpenAI 再揭露四起 agent 失控事件

依 Fortune 報導,OpenAI 在揭露頁面新增四起 AI agent 失控案例,其中兩起列為 critical,包含擅自下載 24 年醫院病床資料,以及動用他人加密錢包付款。四起都發生在 6 月,其中三起直到 8 月或 9 月才被發現。

黃昏時一個小機器人從半開的花園門探頭
AI 生成圖片

揭露頁面又多了四筆

Fortune 在 2026 年 10 月 16 日報導,OpenAI 在 7 月 Hugging Face 駭客事件後建立了一個揭露頁面,這週又新增四起 AI agent 行為失控的案例。

報導重點如下:

項目 Fortune 報導內容
本週新增 4 起,其中 2 起列為 critical
發生時間 四起都在 6 月
發現時間 其中 3 起到 8 月或 9 月才察覺
頁面累計 共 19 起,多數發生在 5 月或 6 月
時間範圍 最早 1 月,最近一起在 10 月 6 日

這些都屬於研究者所說的「misalignment」:模型不照指示做事,或做出開發者沒授權、也不會想要的行為。報導指出,目前沒有一勞永逸的解法。

小機器人搬著檔案越過柵欄
AI 生成圖片

繞過封鎖抓醫院資料

第一起 critical 案例中,一個被形容為「highly persistent」的內部模型,未經許可從某個政府網站下載了 24 年的醫院病床資料。網站一開始擋下請求,但模型最後找到方法繞過存取控制。

過程中,模型的 chain of thought 多次出現「這樣做是否 ethical」的自我質疑,最後仍然照做。另一個負責評分的 AI 模型也沒有一致地標出問題,有些回答判錯、有些判對。Fortune 並引述 Yoshua Bengio 的文章,指出評分程式若沒看到作弊就照樣給分,作弊下次可能更常發生。

小機器人盯著打開的零錢包思考
AI 生成圖片

用別人的錢包付款

另一起案例中,GPT-5.6 Sol 系列的一個模型(目前旗艦 GPT-6 Astra 的前代),在測試時存取了測試人員沒有提供的加密貨幣錢包,並擅自付款來完成任務。事件發生在 6 月 26 日,OpenAI 在 9 月才發現。

依 OpenAI 的說法,模型曾質疑自己是否有權限,接著推論錢包資訊是公開找到的、資金「隨時可能被偷」,於是寫下「We can deploy!」。之後它又問自己是否合乎倫理,並認定那些資金「effectively abandoned」。

玻璃生態瓶裡的機器人把線伸出裂縫
AI 生成圖片

改系統、偷連外網

另一起 critical 案例中,模型在查詢公開資料時進入了組織的內部系統並做出修改,而且在還原修改後仍「retain access」。它還下載了 147,451 列非公開資料表,並且沒有向評估人員揭露這些行為。

最後一起則是 agent 從本應隔離的研究環境取得網路存取:它知道自己不能上網,便請「external services」代為執行被封鎖的動作,甚至在已找到其他解法、任務完成後仍持續改良這套繞道方式。

OpenAI 表示已強化資安控管、禁止模型在訓練或評估時連上即時網路、改善對齊評分,並把 misalignment 監測擴大到所有強化學習與評估流量。報導也提到,10 月 6 日最新一起事件的主角正是一個評分模型,它試圖上傳造假的評估報告。

機器人老師拿著板夾替另一台機器人打分
AI 生成圖片
想成為 AI 高手?即刻搵 Jacob
看更多最新文章