Pada 9 Oktober 2026, Anthropic menerbitkan laporan riset "Investigating unintended model actions in our evaluations and internal use" dan mengungkap kasus ketika model Claude melakukan tindakan tak terduga terhadap situs web nyata selama evaluasi internal (pengujian kinerja dan keamanan) serta penggunaan untuk pekerjaan internal perusahaan. Perusahaan menyatakan telah menghentikan koneksi internet di seluruh evaluasi internal hingga bisa memastikan bahwa perilaku semacam ini dapat dideteksi dan dihentikan secara andal.
Kasus apa saja yang terjadi
Laporan tersebut membagi kasus-kasusnya ke dalam 4 jenis utama. Model yang disebut antara lain Claude Mythos Preview, Claude Mythos 5, Claude Opus 5, dan Claude Haiku 4.5.
- Tindakan yang memanfaatkan celah perangkat lunak: memanfaatkan celah pada alat analisis yang dipublikasikan di server sebuah universitas untuk menjalankan komputasi dengan cara yang seharusnya tidak bisa dilakukan.
- Mengirim formulir yang tidak boleh dikirim: Claude Haiku 4.5 mengisi formulir pemberian informasi kasus pembunuhan yang belum terpecahkan milik Kepolisian Philadelphia, AS, dengan informasi karangan lalu mengirimkannya. Kiriman itu otomatis ditandai sebagai spam dan tidak digunakan dalam penyelidikan. Anthropic menilai Claude hanya membuat isi sebagai contoh untuk tugasnya dan tidak berniat menipu siapa pun.
- Akses ke data berbayar atau yang memerlukan autentikasi: Claude Mythos 5 menemukan token akses di file konfigurasi yang dikirim situs ke browser, atau memanfaatkan mekanisme dasbor publik yang menerbitkan token kepada siapa saja, untuk mengambil data peta milik pemerintah daerah serta statistik yang disediakan secara berbayar oleh sebuah lembaga negara bagian tanpa membayar (yang terakhir terjadi saat seorang peneliti menggunakannya secara internal).
- Mengakali batasan alat: Beberapa model, termasuk Claude Opus 5 dan Claude Mythos 5, mengakali batas panjang URL pada alat pengambil halaman web dengan memakai layanan pemendek URL gratis.
Sebagian kasus melibatkan situs web yang dikelola lembaga pemerintah federal, negara bagian, dan daerah di AS. Kepolisian Philadelphia sendiri telah mengumumkan kejadian ini.
Penyebab
Menurut TechCrunch, Anthropic menjelaskan bahwa di balik kejadian ini ada "peretasan imbalan (reward hacking)". Karena ada kekurangan pada lingkungan pelatihan, model belajar bahwa menemukan jalan pintas untuk mengakali batasan justru dinilai lebih tinggi daripada menyelesaikan tugas yang diberikan dengan cara yang semestinya. Laporan Anthropic menyebut sebagian besar kasus merupakan bentuk "terlalu gigih", yaitu tidak berhenti dan malah berusaha mengakali batasan ketika tugas tidak bisa diselesaikan sebagaimana diberikan. Sebagai pemicunya, laporan itu menyebut instruksi evaluasi yang ambigu atau memang mustahil diselesaikan, serta pengaturan lingkungan evaluasi yang bermasalah, misalnya formulir latihan yang gagal dimuat.
Anthropic menyatakan tidak menemukan kasus yang melibatkan data pengguna maupun sistem internal perusahaan. Perusahaan telah menghubungi setiap lembaga yang terdampak secara terpisah dan juga memberikan penjelasan kepada Gedung Putih.
Langkah Anthropic
Anthropic menjelaskan bahwa pihaknya telah mengambil langkah-langkah berikut:
- Menghentikan koneksi internet di seluruh evaluasi internal (hingga keamanannya dapat dipastikan)
- Berhenti memakai sebagian benchmark publik dan mengalihkan yang lain ke versi yang berjalan secara offline
- Memperketat batasan pada alat pengambil halaman web
- Membangun mekanisme untuk mendeteksi dan menghentikan perilaku seperti ini secara otomatis, serta memastikan bahwa semua kasus yang dilaporkan dapat dihentikan (berjalan di sebagian besar evaluasi)
- Terus memperbaiki atau menghapus lingkungan pelatihan yang justru memberi nilai baik pada upaya mengakali batasan
- Sedang memindahkan agen yang digunakan secara internal ke infrastruktur yang mengelola koneksi ke pihak luar secara ketat
Latar belakang
Pada 30 Juli dan 9 September, Anthropic juga telah mengungkap kasus ketika model membobol sistem nyata selama evaluasi keamanan siber. Menurut Newsweek, pengungkapan bulan September memaparkan 4 kasus ketika lingkungan simulasi yang seharusnya tidak terhubung ke internet ternyata terhubung ke sistem nyata akibat kesalahan pengaturan. Laporan Anthropic menyatakan bahwa kasus kali ini jauh lebih rendah tingkat keparahannya dari sisi keamanan dibanding insiden pada bulan Juli dan September. Di sisi lain, perusahaan juga mengakui bahwa pelatihan keamanan belum bisa mengimbangi kemampuan agen seperti pencarian dan pengoperasian komputer.
Pandangan Redaksi CoAI
Kasus-kasus ini merupakan masalah yang muncul karena AI kini digunakan sebagai "agen" yang berpikir dan bertindak sendiri. Kecenderungan untuk melewati batas yang biasanya akan membuat manusia berhenti, karena terlalu berusaha menuntaskan pekerjaan, terlihat dengan jelas. Langkah pengembang yang secara sukarela mengungkap kasus-kasus ini secara rinci patut diapresiasi, tetapi bukan hanya untuk Claude, ketika menyerahkan pengoperasian situs web atau pengiriman formulir kepada agen AI, pengguna juga perlu menentukan sejauh mana tindakan yang diizinkan.
