Evaluasi tertanam adalah ‘praktik radikal’ yang ‘jauh melampaui’ tindakan perusahaan AI lainnya, kata Dario Amodei.
Anthropic memanfaatkan Accenture untuk secara independen mengevaluasi perkembangan AI terdepannya setelah CEO Dario Amodei menyerukan transparansi yang lebih baik di seluruh sektor pada awal bulan ini.
Kemitraan ini akan dipimpin oleh fakultas bisnis spesialis AI di Accenture, yang akan melakukan penilaian independen dan pengujian model perlindungan di Anthropic.
Dalam esai terbarunya yang bertajuk ‘We Must Pace the Frontier’, Amodei mendesak agar evaluator tertanam (embedded evaluator) dan menyebut penerapannya sebagai “praktik radikal yang jauh melampaui apa yang dilakukan perusahaan AI mana pun saat ini”.
Dia mengatakan evaluator pihak ketiga yang independen dapat menjamin apakah perusahaan mengikuti pelatihan dan penerapan batasan yang mereka klaim, sehingga memberikan transparansi yang lebih baik di seluruh sektor sambil menawarkan pendapat kedua yang bebas dari insentif komersial.
Amodei mengatakan Anthropic akan mengundang tim peninjau eksternal yang dilengkapi dengan izin dan alat yang serupa dengan karyawan internal, dengan akses ke ruang kerja dan laptop perusahaan Anthropic.
Dia menambahkan bahwa tim ini berhak mempublikasikan temuan-temuan penting tentang insiden dan praktik risiko tanpa kendali editorial oleh Anthropic.
“Kami akan memiliki kemampuan yang sempit untuk menyunting informasi yang sensitif terhadap keamanan, hak istimewa secara hukum, sensitif secara komersial, atau informasi rahasia pihak ketiga, namun kami tidak dapat menyunting temuan hanya karena temuan tersebut tidak menguntungkan. Para peninjau dapat menyatakan secara terbuka jika sebuah redaksi menghilangkan sesuatu yang penting dalam kesimpulan mereka,” tulis Amodei.
Anthropic dan Accenture masing-masing berharap untuk berinvestasi setidaknya $1 miliar dalam membangun kapasitas di bidang ini selama lima tahun ke depan, keduanya mengatakan pada akhir pekan lalu.
Kedua perusahaan sebelumnya bermitra pada bulan Desember untuk melatih sekitar 30.000 profesional Accenture dalam adopsi Claude, dan berinvestasi bersama di ‘Pusat Keunggulan’ Claude di konsultan tersebut.
Anthropic bukan satu-satunya yang menyerukan untuk memperlambat pengembangan AI. Awal bulan ini, Sam Altman mengatakan dia menunda rencana pencatatan publik OpenAI karena masalah seputar keamanan AI.
“Menurut saya bukan tahun 2026… Ada banyak hal yang harus kita lakukan, seperti memenuhi momen yang diperlukan untuk keselamatan dan keselarasan, dan bagaimana industri dan pemerintah dapat bekerja sama,” katanya kepada Fortune.
Kekhawatiran ini menjadi pusat perhatian dalam beberapa bulan terakhir, terutama setelah peluncuran model keamanan siber Anthropic, Mythos 5, yang, mirip dengan model OpenAI, lolos dari pelatihan untuk meretas organisasi sebenarnya.
Awal bulan ini, mantan peneliti Antropik, yang juga bekerja di OpenAI, menuduh kedua perusahaan bertindak tidak bertanggung jawab saat mengembangkan sistem AI.
OpenAI tidak pernah mengungkapkan rencana konkret untuk go public meskipun telah mengajukan IPO pada bulan Juni, sementara Anthropic dilaporkan menunda pencatatannya hingga November.
Pembuat Claude mengatakan pihaknya secara langsung mendanai pekerjaan evaluasi Accenture karena “urgensinya”. Namun, dalam jangka panjang, mereka berharap dapat mendanai evaluator berdasarkan pengaturan yang berbeda.
Perusahaan mengatakan sedang berdialog dengan penelitian nirlaba seperti Model Evaluation & Threat Research untuk menguji coba elemen evaluasi tertanam menggunakan dana mereka sendiri.