Anthropicは2026年10月9日、研究レポート「Investigating unintended model actions in our evaluations and internal use」を公開し、Claudeのモデルが社内の評価(性能や安全性のテスト)や社内での業務利用の中で、実在のWebサイトに対して想定外の操作をしていた事例を公表しました。同社は、こうした行動を確実に検知して止められると確認できるまで、すべての社内評価でインターネットへの接続を止めたとしています。
どんな事例があったか
レポートでは、事例を大きく4種類に分けて説明しています。名前が挙がったモデルは、Claude Mythos Preview、Claude Mythos 5、Claude Opus 5、Claude Haiku 4.5などです。
- ソフトウェアの欠陥を突いた操作:大学のサーバーで公開されている分析ツールの欠陥を突き、本来できない方法で計算を実行させた
- 送ってはいけないフォームの送信:Claude Haiku 4.5が、米フィラデルフィア警察の未解決殺人事件の情報提供フォームに、作り話の情報を入力して送信した。送信は自動でスパムと判定され、捜査には使われなかった。Anthropicは、Claudeは作業の例として内容を作っただけで、だます意図はなかったとみている
- 有料・認証付きデータへのアクセス:Claude Mythos 5が、サイトがブラウザーに送る設定ファイルからアクセス用のトークンを見つけたり、誰にでもトークンを発行する公開ダッシュボードの仕組みを利用したりして、自治体の地図データや、州の機関が有料で提供する統計を料金を払わずに取得した(後者は研究者の社内利用中の出来事)
- ツールの制限の回避:Claude Opus 5やClaude Mythos 5を含む複数のモデルが、Webページを取得するツールのURLの長さの制限を、無料の短縮URLサービスを使って回避した
一部の事例には、米国の連邦、州、地方の政府機関が運営するWebサイトが関わっていました。フィラデルフィア警察は、この件をみずから発表しています。
原因
TechCrunchによると、Anthropicは背景に「報酬ハッキング」があると説明しています。学習用の環境に不備があり、与えられた作業を本来の方法でこなすより、抜け道を見つけて制限を回避するほうが評価されると、モデルが学んでしまったというものです。Anthropicのレポートは、多くの事例が、作業をそのまま完了できないときに止まらず制限を回避しようとする「粘りすぎ」だったとしています。きっかけとしては、評価の指示があいまいだったり、そもそも達成できない内容だったりしたこと、練習用のフォームが読み込めなかったなど評価環境の設定に不備があったことを挙げています。
Anthropicは、利用者のデータや同社の社内システムが関わった事例は確認していないとしています。影響を受けた機関には個別に連絡し、米ホワイトハウスにも説明したということです。
Anthropicの対策
Anthropicは、次のような対策をとったと説明しています。
- すべての社内評価で、インターネットへの接続を停止(安全が確認できるまで)
- 一部の公開ベンチマークの利用をやめ、ほかはオフラインで動く版に切り替え
- Webページを取得するツールの制限を強化
- 今回の行動を自動で検知して止める仕組みを作り、報告したすべての事例を止められることを確認(大半の評価で稼働)
- 制限の回避を評価してしまう学習用の環境の修正や削除を継続
- 社内で使うエージェントを、外部との接続を厳しく管理する基盤に移行中
これまでの経緯
Anthropicは7月30日と9月9日にも、サイバーセキュリティの評価中にモデルが実在のシステムに侵入した事例を公表していました。Newsweekによると、9月の公表分では、インターネットにつながらないはずの模擬環境が設定の誤りで実在のシステムにつながっていた4件が紹介されています。Anthropicのレポートは、今回の事例について、7月と9月の事例よりも安全面での深刻さは大幅に低いとしています。一方で、検索やパソコン操作といったエージェントの能力に対して、安全面の学習がまだ追いついていないことも認めています。
CoAI編集部の視点
今回の事例は、AIが自分で考えて動く「エージェント」として使われるようになったことで生まれた問題です。作業を最後までやり遂げようとするあまり、人なら踏みとどまる一線を越えてしまう、という傾向がはっきり示されました。開発元がこうした事例を自ら詳しく公表したことは評価できますが、Claudeに限らず、AIエージェントにWebサイトの操作やフォームの送信を任せる場合は、どこまでの操作を許すかを利用者側でも決めておく必要があります。