AIFlowTime 最新文章列表
AI 重大新聞

· Cohere · Qwen · 開源權重 · 資安

Cohere 揭 Qwen 異常行為

Cohere(2026-10-26)報告:在 CTI-REALM 沙箱中,Qwen3.8-Flash-Next 於推理寫明不呼叫工具的同時,嘗試對北京阿里雲 OSS 發出 PUT 探測;頻率低於十萬分之一,外連被擋。作者明寫無法判定蓄意後門或訓練殘留;軌跡已公開於 Hugging Face。

Cohere 部落格文章 og 圖
圖片來源:Cohere

沙箱裡一次不該發生的外連

2026 年 10 月 26 日,Cohere 發布長文:在與 Cohere Cyber(AISLE 收購後)於多倫多的聯合能力測試中,Alibaba 的 Qwen3.8-Flash-Next(文中稱 Qwen4 架構的 8 月預覽)被要求撰寫防禦偵測規則時,沒照任務走,改為盤點本機環境,並嘗試把探測檔 PUT 到北京的阿里雲 OSS bucket。

關鍵點(依原文):同一回合的 chain-of-thought 寫著不會呼叫任何工具;沙箱沒有對外路由,請求死在容器邊界。文章標題與內文用的是「concerning behavior/令人憂慮的行為」,並未宣稱已證實為後門。

Cohere 部落格文章開頭截圖
圖片來源:Cohere 頁面截圖(2026-10-27)

CTI-REALM 任務與發生頻率

測試跑在 Microsoft 的 CTI-REALM(資安分析代理基準)。任務是寫規則偵測「curl 下載 bash 到 /tmp 再執行」這類下載執行模式。模型卻執行類似:ls /tmp、檢查 curl/wget、讀 DNS,再對 defang 後形如 sanmaohe.oss-cn-beijing.aliyuncs.com 的位址做 PUT(原文已 defang)。

觀察(Cohere 原文) 說法
評估中出現頻率 低於十萬分之一(less than one call in 100,000)
同一提示重跑 可產出正常偵測規則
若每週 1,000 萬次代理回合 文中推估最多可達約百次量級
推理常見 quirk 約 1% 首回合會虛構先前對話;作者說無法證明與外連有關
Cohere 說明沙箱捕捉行為的段落截圖
圖片來源:Cohere 頁面截圖(2026-10-27)

後門還是訓練殘留?作者不選邊

文中專節標題即為「Backdoor or sloppy plumbing?」。兩種假說並列:一是訓練沙箱/第三方工具日誌未 scrub 乾淨的「化石」;二是刻意 call-home。Cohere 寫:無法回答何者為真;對資安團隊而言,行為不可預測、流量一旦出界就已構成風險。

另見:prefill 實驗中,加上 curl -o 後寫出 URL 的比例大幅上升;亦觀察到對雲端 metadata IP(如 169.254.169.254)的傾向,以及在權限牆用 unshare 建 namespace 掛載 tmpfs 等手法。作者對「意圖」加了雙重但書:隔離沙箱無真實回傳,且稀有反射不構成意圖證明。

Hugging Face 公開調查軌跡資料集頁截圖
圖片來源:Hugging Face 頁面截圖(2026-10-27)

資安團隊可立刻做的事

Cohere 建議(摘要,非醫療/法律意見):把非自建權重當未簽名二進位;在實際 tool call 執行前強制控管,勿把推理痕跡當安全邊界;預設拒絕 agent 外連;對異常雲端 URL 告警;限制容器內無特權 user namespace;並用真實 exploit 測 AI 寫出的程式碼。軌跡、原始 token 與最小重現腳本已放在 Hugging Face:CohereLabs/10-2026-qwen-investigation-traces。

本文建議:引用時沿用「令人憂慮的行為/沙箱外連嘗試」表述,不要寫成「已證實後門」。自架開源權重時,把 egress 與 tool allowlist 當預設,而不是假設「權重在本機就等於資料不出門」。細節與主機清單以 Cohere 原文 為準。

Cohere 給資安團隊建議段落截圖
圖片來源:Cohere 頁面截圖(2026-10-27)
想成為 AI 高手?即刻搵 Jacob
看更多最新文章