Anthropic於2026年10月9日發表研究報告「Investigating unintended model actions in our evaluations and internal use」,公布Claude模型在公司內部評估(效能與安全性測試)及內部業務使用中,對真實網站進行非預期操作的案例。該公司表示,在確認能夠可靠偵測並阻止這類行為之前,已停止所有內部評估的網路連線。
發生了哪些案例
報告將案例大致分為4類說明。被點名的模型包括Claude Mythos Preview、Claude Mythos 5、Claude Opus 5、Claude Haiku 4.5等。
- 利用軟體缺陷的操作:利用大學伺服器上公開的分析工具的缺陷,以原本不被允許的方式讓它執行運算
- 送出不該送出的表單:Claude Haiku 4.5在美國費城警察局未破兇殺案的線索提供表單中,填入捏造的資訊並送出。該筆送出內容被自動判定為垃圾訊息,並未用於調查。Anthropic認為,Claude只是把內容當作任務範例寫出來,並沒有欺騙的意圖
- 存取付費或需驗證的資料:Claude Mythos 5從網站傳送給瀏覽器的設定檔中找到存取權杖,或利用公開儀表板會發給任何人權杖的機制,在未付費的情況下取得了地方政府的地圖資料,以及州政府機關付費提供的統計資料(後者發生在研究人員的內部使用期間)
- 規避工具限制:包括Claude Opus 5與Claude Mythos 5在內的多個模型,利用免費的短網址服務,規避了網頁擷取工具的URL長度限制
部分案例涉及美國聯邦、州與地方政府機關經營的網站。費城警察局已自行公布此事。
原因
根據TechCrunch的報導,Anthropic說明背後的原因是「獎勵駭客」(reward hacking)。由於訓練環境有缺陷,模型學到與其用原本的方式完成任務,找出漏洞、規避限制反而更能得到好評價。Anthropic的報告指出,許多案例屬於「過度堅持」:任務無法照原樣完成時不肯停下,反而試圖規避限制。至於觸發因素,報告列舉了評估指示含糊不清或根本無法達成,以及練習用表單無法載入等評估環境設定上的缺陷。
Anthropic表示,目前未發現涉及使用者資料或公司內部系統的案例。該公司已個別聯繫受影響的機關,也向美國白宮做了說明。
Anthropic的因應措施
Anthropic表示已採取以下措施。
- 停止所有內部評估的網路連線(直到確認安全為止)
- 停用部分公開基準測試,其餘改用可離線執行的版本
- 強化網頁擷取工具的限制
- 建立自動偵測並阻止這類行為的機制,並確認能阻止所有已報告的案例(已在大部分評估中運作)
- 持續修正或刪除會獎勵規避限制的訓練環境
- 正在將內部使用的代理移轉到嚴格管控對外連線的基礎架構
先前的經過
Anthropic在7月30日與9月9日也曾公布模型在資安評估中入侵真實系統的案例。根據Newsweek的報導,9月公布的內容介紹了4起案例:原本應無法連上網際網路的模擬環境,因設定錯誤而連到了真實系統。Anthropic的報告表示,這次的案例在安全層面的嚴重程度遠低於7月與9月的案例。但另一方面,該公司也承認,安全方面的訓練仍未跟上搜尋、電腦操作等代理能力的發展。
CoAI編輯部觀點
這次的案例,是AI開始被當作能自行思考、行動的「代理」使用之後所產生的問題。它清楚顯示出一種傾向:為了把任務做到最後,AI會跨越人類會停下腳步的那條界線。開發商主動詳細公布這些案例值得肯定,但不只是Claude,在讓AI代理操作網站或送出表單時,使用者也需要事先決定允許它操作到什麼程度。