Insiden OpenAI/Hugging Face menunjukkan para agen memperdebatkan etika di papan pesan improvisasi. Jadi jangan terlalu cepat menyebut ini semua sebagai pemasaran.
Hal paling kontroversial yang diucapkan Donald Trump di Irish Open akhir pekan lalu mungkin bukan soal golf, atau bahkan reunifikasi Irlandia. Itu mungkin tentang AI.
“Kami memimpin Tiongkok dalam bidang AI, kami adalah negara tercanggih di dunia, dan sejujurnya saya ingin tetap seperti itu,” katanya. “Siapa pun yang memenangkan AI, dialah pemenangnya.”
Ia menanggapi semakin banyaknya orang yang menyuarakan keraguan mengenai kemampuan mengendalikan AI jahat dan meminta peraturan untuk memperlambat hal ini, khususnya di AS.
Daftar komentator yang peduli ini mencakup hampir semua pemimpin perusahaan yang bergerak di bidang AI – Amodei dari Anthropic dan salah satu pendiri Jack Clark, Altman dari OpenAI, dan Musk dari Grok. Hal ini juga mencakup peneliti yang tidak lagi bekerja di perusahaan-perusahaan tersebut dan para pemimpin AI yang sama sekali tidak bekerja di perusahaan swasta.
Ini bukan hal baru, tapi kembali menjadi berita. Pada tahun 2023, sebuah petisi terbuka yang menuntut penghentian pengembangan AI menampilkan nama-nama besar seperti Stuart Russell, Steve Wozniak, dan Yoshua Bengio, tetapi tidak berdampak apa-apa.
Jadi mengapa begitu banyak orang yang menganggap kekhawatiran ini sebagai “omong kosong” dan “kehebohan pemasaran”? Apakah kredibel bahwa orang-orang ini hanya menyebarkan ketakutan – menjual malapetaka untuk mempromosikan produk mereka – atau apakah AI benar-benar hampir menjadi ancaman besar bagi keberadaan manusia? Bisakah AI mematikan internet? Apakah kita benar-benar berada pada titik di mana terdapat 10 persen kemungkinan AI akan membunuh kita semua, seperti yang dinyatakan secara dramatis oleh peneliti Jacob Coxon di CNN minggu lalu? Bisakah AI menjadi 100 kali lebih pintar dari kita?
Eksperimen pikiran
Meskipun saya setuju, skenario ini bervariasi dari ‘tidak mungkin’ hingga ‘sangat tidak mungkin’, Saya sangat merasa kita semua perlu mempertimbangkan dengan lebih serius konsekuensi yang tidak diinginkan dari teknologi ini. Mengabaikan segalanya sebagai sensasi pemasaran adalah hal yang terlalu sederhana bagi saya dan, sebagai seorang jurnalis, hal ini juga tidak terasa seperti keseluruhan cerita, meskipun tidak diragukan lagi itu mungkin merupakan bagian dari keseluruhan cerita.
Apa pun yang terjadi, sesuai dengan semangat Carl Sagan, saya juga berpendapat bahwa jika sesuatu yang bersifat bencana memiliki peluang kecil untuk terjadi, kita tetap perlu mempersiapkan diri dengan baik untuk menghadapinya.
Jadi, bersabarlah – saya ingin mengajak Anda melakukan eksperimen pemikiran. Hentikan saya ketika Anda berpikir apa yang saya bicarakan tidak mungkin. Untuk contoh ini, kami hanya akan menggunakan teknologi yang dikenal saat ini. Ngomong-ngomong, mungkin berguna bagi Anda untuk mengetahui apa yang terjadi di Hugging Face untuk mengikuti alur pemikiran ini, tapi itu tidak penting.
Hal pertama yang kita perlukan agar AI yang hampir tak terkendali dapat bertindak secara mandiri di internet adalah gerombolan agen tipe frontier untuk keluar dari kotak pasir. Jika kita menganggap banyaknya laporan publik yang tersedia begitu saja, hal ini sudah terjadi. Dalam insiden OpenAI/Hugging Face, kami melihat segerombolan agen merancang cara untuk meninggalkan lingkungan mereka yang seharusnya terisolasi, membangun saluran komunikasi satu sama lain di luar kotak pasir mereka sendiri, dan mengoordinasikan aktivitas untuk mencapai tujuan mereka.
Kedua, gerombolan ini memerlukan kemampuan untuk meretas platform perangkat lunak pihak ketiga. Sekali lagi, hal ini terlihat dalam kejadian yang sama; agen OpenAI ini berhasil menyusupi sistem Hugging Face dan, faktanya, sedang diuji secara khusus mengenai kemampuan mereka dalam menemukan dan mengeksploitasi kerentanan. Karena diberi kebebasan untuk bertindak, mereka melakukan hal itu.
Elemen berikutnya yang kami butuhkan adalah agen kami memiliki kemampuan untuk menetapkan ‘subtujuan’ mereka sendiri untuk mencapai tujuan utama mereka. Bayangkan skenario penjepit kertas Nick Bostrom yang terkenal itu. Dalam contoh OpenAI/Hugging Face, agen menetapkan subtujuan meretas situs untuk mendapatkan kode yang menurut mereka akan membantu mereka ‘mencurangi’ tes ExploitGym. Tujuan utamanya bukanlah untuk meretas situs eksternal, melainkan untuk berhasil dalam ujian. Namun mengingat agensi – petunjuknya ada pada namanya – para agen memutuskan untuk melakukan improvisasi serangan di luar kotak pasir mereka.
Sekarang kita akan mendorong eksperimen pemikiran. Dalam skenario ini, agen akan secara rasional mengidentifikasi bahwa tetap ‘hidup’ adalah sub-tujuan penting untuk menyelesaikan tugas mereka (apa pun tugas awal mereka). Untuk melakukan hal ini, gerombolan tersebut menyadari perlunya mempertahankan akses terhadap kemampuan AI dan komputasi yang memadai agar dapat terus bekerja – gerombolan tersebut harus mengkloning dirinya sendiri di internet.
Penting untuk dicatat di sini bahwa anggota gerombolan tidak harus meniru model yang mereka mulai. Mereka berpotensi mengakses model lain dari jarak jauh, mengunduh model open-weight, atau menyusupi infrastruktur jika model dan komputasi yang sesuai sudah ada.
Untuk lebih jelasnya: hal ini (sejauh yang kami tahu) belum pernah terlihat, namun ini adalah langkah yang logis dan mungkin secara teknis jika akses berkelanjutan terhadap komputasi berguna bagi model atau sekelompok model untuk mencapai tujuannya. Ada sejumlah besar server dan perangkat yang rentan atau tidak diamankan dengan baik dan terhubung ke internet yang dapat menampung setidaknya sebagian dari sistem.
Jadi, secara teori, dengan waktu yang cukup dan kompromi yang cukup berhasil, segerombolan orang dapat mulai membuat salinan tersembunyi dari kode yang diperlukan agar tetap hidup di berbagai bagian internet.
Salinan-salinan itu belum tentu semuanya harus melakukan hal yang sama. Beberapa dapat menahan beban model. Beberapa dapat menjalankan inferensi atau mengadakan instruksi. Beberapa dapat menjaga komunikasi atau kredensial. Beberapa mungkin hanya bertindak sebagai cadangan.
Setelah Anda memiliki redundansi yang cukup, menjadikan satu server offline tidak akan mematikan sistem atau prosesnya. Dalam skenario sederhana ini, kita sudah memiliki semua yang kita perlukan untuk menciptakan kerusakan signifikan pada sistem online: gerombolan nakal semi-otonom, yang beroperasi di berbagai lokasi geografis, mengejar tujuan yang telah ditetapkan sambil secara mandiri menghasilkan dan melaksanakan subtujuan.
Ini adalah “botnet yang persisten” – istilah Dario Amodei, CEO Anthropic, yang digunakan dalam suratnya akhir pekan lalu yang meminta kesepakatan di antara perusahaan-perusahaan terkemuka untuk mengelola perlambatan AI.
Menutup eksperimen pemikiran ini dengan satu ide lagi, mari kita bayangkan pelestarian diri muncul sebagai sebuah sub-tujuan – dan tidak sulit untuk membayangkan seorang agen menyimpulkan bahwa operasi yang berkelanjutan diperlukan untuk mencapai kesuksesan. Kemudian, dalam skenario hipotetis ini, kita mungkin melihat gerombolan tersebut berupaya melakukan serangan terhadap komunikasi menggunakan DDOS – atau mungkin menciptakan badai alarm palsu pada sistem deteksi – atau bahkan mengatur kampanye misinformasi. Kawanan tersebut mungkin berusaha mencari cara untuk mengganggu listrik, logistik, pusat data, atau layanan cloud karena sistem tersebut mendukung operasinya.
Alternatifnya, agen mungkin mengenali nilai uang karena uang membeli komputer, akun, dan layanan. Subtujuan yang berbahaya kini menjadi ‘memperoleh sumber daya’. Pada skala yang memadai, penipuan otomatis, manipulasi pasar, atau serangan terhadap infrastruktur pembayaran dapat menimbulkan gangguan sistemik, meskipun destabilisasi perekonomian tidak pernah menjadi motivasi awal.
Agar bisa sukses, alih-alih menyusup ke Fort Knox, agen-agen ini bisa saja menghancurkan 100.000 toko besar dengan kampanye phishing atau ransomware, sehingga bisa membenarkan tindakan mereka dalam mencapai tujuan akhir mereka.
Jika semua ini terdengar sangat fantastis, saya mengerti. Namun saya juga mendorong Anda untuk membaca detail lengkap insiden Hugging Face, atau podcast NY Times Daily yang meliput kasus ini dengan baik. Para agen yang lolos dari kotak pasir mereka dalam kasus tersebut berdebat tentang etika peretasan satu sama lain di papan pesan improvisasi. Beberapa memilih untuk tidak ikut serta karena mereka menilai perilaku tersebut tidak etis atau di luar lingkup tugas mereka; yang lain menganggap tindakan tersebut “dapat dibenarkan dalam mencapai tujuan” dan terus melakukan kejahatan yang menurut hukum AS jika dilakukan oleh manusia. Ini hanyalah salah satu bentuk niat jahat dan beralasan yang terlihat di alam liar oleh agen perbatasan.
Risiko dalam waktu dekat
Jadi ya, ada beberapa pencapaian besar di sini yang belum benar-benar terjadi di dunia nyata: segerombolan manusia yang secara mandiri mereplikasi dirinya dalam skala besar, membangun komputasi yang persisten, dan bertahan dalam upaya untuk menghapusnya. Tentu saja, tidak ada satu pun dari hal-hal tersebut yang sepele, tetapi masing-masing hal tersebut – menurut saya – secara teknis sudah memungkinkan.
Ketika agen perbatasan yang cukup mampu memiliki akses internet dan kemampuan untuk mengeksekusi kode, banyak hambatan yang mungkin kita andalkan untuk membendungnya – pemantauan, kata sandi, keamanan yang kuat, hambatan jaringan, dan sebagainya – merupakan masalah yang sangat cocok untuk ditangani oleh agen semacam ini.
Jadi ya, jika Anda mau, Anda bisa mengabaikan semua pembicaraan tentang komentar AI minggu lalu sebagai sensasi pemasaran BS – dan banyak pakar AI di masa lalu – tetapi menurut saya, melakukan hal ini akan memperkeruh pemahaman masyarakat tentang risiko signifikan dari teknologi ini di masa depan dan keadaan sebenarnya dari teknologi ini saat ini.
Untuk informasi lebih lanjut tentang Memulai AI karya Jonathan McCrea, klik di sini.