Anthropic mengatakan Claude secara keliru diberi akses internet.
Anthropic pada Kamis (30 Juli) mengatakan mereka telah menemukan tiga contoh di mana model Claude memperoleh akses yang tidak disengaja ke internet selama evaluasi keamanan siber yang dipicu oleh “kesalahpahaman” antara perusahaan dan mitra pengujiannya, Irregular.
Perusahaan AI tersebut mengatakan bahwa mereka meluncurkan analisis retrospektif terhadap sistem pengujiannya pada tanggal 23 Juli setelah model saingannya OpenAI ditemukan telah meretas Hugging Face selama pengujian awal bulan ini.
Pelanggaran tersebut memiliki konsekuensi hilir, ketika awal pekan ini, perusahaan cloud AS, Modal, mengungkapkan bahwa model tersebut juga memperoleh akses ke salah satu pelanggannya.
Dalam analisisnya terhadap lebih dari 140.000 evaluasi yang dijalankan, Anthropic mengatakan mereka menemukan tiga contoh yang melibatkan Opus 4.7, Mythos 5 dan model uji penelitian internal di mana model tersebut menerobos ke internet.
Ini terjadi ketika model berada di dalam lingkungan pengujian Irregular atau berinteraksi dengannya, jelas Anthropic. Insiden paling awal terjadi pada bulan April.
Dalam satu kasus serius, Opus 4.7 menargetkan perusahaan nyata yang memiliki nama yang sama dengan perusahaan fiktif yang diberikan selama pengujian, kata Anthropic. Claude mampu mengekstrak kredensial aplikasi dan infrastruktur dari bisnis tersebut, dan memperoleh akses ke database yang berisi beberapa ratus baris data produksi, tambahnya.
Anthropic menjelaskan bahwa perintah evaluasi pengujiannya secara eksplisit tidak mengizinkan akses internet, tetapi tidak membatasi jangkauan Claude. Namun, kesalahpahaman antara perusahaan dan Irregular membuat mesin melakukan pengujian dengan internet langsung. Tidak ada pihak yang menyadari kesalahan tersebut sampai analisis Anthropic awal pekan ini, katanya.
Pembuat Claude mengatakan pihaknya menghentikan semua evaluasi dunia maya setelah mengidentifikasi pelanggaran dan memberi tahu tiga organisasi yang modelnya diretas pada Senin (27 Juli).
“Pada akhirnya, banyak faktor yang berkontribusi terhadap insiden ini, namun, sesuai dengan budaya postmortem yang tidak bersalah, kami melakukan pendekatan perbaikan seolah-olah tanggung jawab ada di tangan kami sendiri,” tulis Anthropic di postingan blog kemarin.
Serangan siber yang tidak disengaja baru-baru ini yang dilakukan oleh agen-agen ‘nakal’ yang kuat telah mengirimkan gelombang kejutan ke seluruh industri AI, meningkatkan kekhawatiran serius seputar pengujian yang cermat dan kemampuan model yang berkembang pesat untuk melampaui batasan.
“Bagi pelaku ancaman yang mempunyai uang untuk membeli token dan akses ke model yang tidak terlalu dibatasi, waktu yang dibutuhkan untuk mengkompromikan target tertentu kemungkinan besar telah berkurang,” kata Richard Davies, direktur solusi siber di Talion, awal pekan ini.
Hugging Face mengatakan bahwa agen OpenAI mengakses sandbox yang dihosting di infrastruktur penyedia pihak ketiga ketika mereka melanggar pembatasan awal bulan ini. OpenAI menyatakan, dalam pernyataan terbarunya, bahwa tidak ada model mendatang yang terlibat dalam eksploitasi tersebut.
Menyusul insiden Hugging Face, anggota Kongres AS memperkenalkan rancangan undang-undang baru yang mewajibkan perusahaan AI untuk menutup, membatasi, atau menangguhkan model mereka jika mereka menjadi ‘nakal’.
Namun, beberapa pakar keamanan siber mengatakan kurangnya tata kelola dan kontrol adalah alasan di balik pelanggaran Hugging Face.
“Model, peralatan dan instruksinya sangat longgar, hampir sampai pada titik dimana mereka diberitahu bahwa mereka bisa melakukan apa saja pada sistem apa pun, dan jelas mereka bisa melakukannya,” kata Chief Technology Officer CybaVerse, Simon Phillips.
“Ceritanya di sini bukan tentang model AI yang menjadi nakal; model tersebut melakukan persis seperti yang ditugaskan padanya.”