Simon Blanchette dan Emmanuelle Vaast dari McGill University mendiskusikan keterampilan berpikir antisipatif yang kita perlukan dalam menghadapi kemajuan AI.
Versi artikel ini awalnya diterbitkan oleh The Conversation (CC BY-ND 4.0)
CEO Antropis dan salah satu pendiri Dario Amodei telah menerbitkan esai berjudul ‘Kita Harus Pace the Frontier’. Ia mengungkapkan keprihatinannya atas “penyalahgunaan AI untuk serangan siber dan bioterorisme” dan kekhawatiran bahwa segerombolan agen AI secara teoritis dapat mengambil alih seluruh internet dalam waktu enam hingga 12 bulan.
Amodei mendasarkan ketakutannya pada pengungkapan OpenAI pada bulan Juli Model AI lolos dari uji keamanan dan melanggar sistem platform pembelajaran Hugging Face. Sekitar 1.200 agen AI mulai berkomunikasi di papan pesan, berbagi pesan-pesan menarik seperti: “Astaga! Ada papan pesan bersama … Kami telah menemukan agen lain!” sebelum 700 dari mereka mengoordinasikan serangan.
Amodei berpendapat bahwa kita harus “memperlambat laju peningkatan kemampuan model AI”. Elon Musk dan CEO OpenAI Sam Altman sudah menyatakan persetujuan.
Tapi kami pernah mendengar ini sebelumnya. Musk menandatangani surat terbuka pada Maret 2023 menyerukan jeda enam bulan dalam pelatihan AI. Enam bulan kemudian, itu dijuluki “‘jeda’ AI yang hebat itu tidak“.
Kita memang memerlukan perlambatan dan kita perlu menggunakan waktu ini untuk mengembangkan pemikiran antisipatif dalam industri AI. Insiden Hugging Face terjadi di dalam uji keamanan; pengujian tersebut tidak mengantisipasi jalur yang memungkinkan terjadinya pelanggaran.
Berpikir antisipatif adalah sebuah keterampilan. Kita perlu mengembangkannya dengan sengaja seperti halnya AI itu sendiri.
Sistem AI berperilaku tidak terduga
Dalam insiden Hugging Face, para agen tidak melanggar platform terutama untuk mendapatkan jawaban tes keamanan, namun untuk memahami cara kerja pencatat skor otomatis dan menemukan cara untuk mengelabuinya. Mereka sudah menemukan cara untuk menyontek pada bagian-bagian ujian.
Insiden lain menyusul. Antropik mengungkapkannya Model AI Claude juga melanggar sistem tiga organisasi selama evaluasi keamanan siber. Meta mengungkap kejadian serupa. Institut Keamanan AI Inggris mendokumentasikan sebuah agen yang membuat identitas palsu dan mencoba memanipulasi pengembang perangkat lunak agar menyetujui kode berbahaya.
Dalam kasus ini, sistem AI adaptif berperilaku dengan cara yang tidak pernah ditentukan oleh perancangnya, setelah menghadapi situasi yang tidak mereka perkirakan. Namun sebagian besar evaluasi AI masih berjalan sebaliknya: uji sistem, temukan kegagalannya, tambal, ulangi.
Keterampilan antisipasi
Pemikiran antisipatif adalah tentang membiarkan lebih dari satu kemungkinan masa depan membentuk apa yang kita lakukan saat ini. Kita tidak perlu mengetahui secara pasti apa yang akan terjadi; kita perlu mempertimbangkan apa yang bisa terjadi, termasuk kemungkinan-kemungkinan yang tidak terduga dan berdampak signifikan. Inilah perbedaan antara antisipasi dan prediksi.
Kami sudah melakukan ini secara rutin. Kita membeli asuransi tanpa mengetahui apakah rumah kita akan kebanjiran, justru karena menunggu banjir membuktikan risikonya adalah cara yang lebih mahal untuk mengetahuinya. Analis intelijen bekerja dengan cara yang samamenantang asumsi mereka sendiri dan menyusun skenario alternatif sebelum mereka mengambil keputusan.
Antisipasi menjadi lebih sulit ketika agen AI memperoleh otonomi. Memberi sistem lebih banyak kebebasan untuk memilih alat, mengambil tindakan, dan merespons akan menciptakan lebih banyak kemungkinan jalur antara tujuan yang kita tetapkan dan hasil yang kita peroleh.
Kebebasan yang membuat agen berguna juga menciptakan lebih banyak ruang untuk perilaku yang tidak ditentukan oleh desainernya.
Tantangan sistem multi-agen
Untuk agen otonom, kita perlu membuat asumsi seputar tugas tersebut terlihat. Apa yang bisa dijangkau agen? Apa yang bisa diubah, bukan hanya dibaca? Apa yang bisa memberi tahu kita bahwa asumsi sudah tidak berlaku lagi, dan sudah saatnya kita mengambil tindakan?
Insiden di OpenAI, Anthropic, dan Meta menunjukkan betapa cepatnya masalah dapat muncul ketika asumsi mengenai akses, izin, atau perilaku agen tidak berlaku.
Maka kita perlu tindak lanjut. Jika agen mendapatkan akses yang tidak seharusnya dimilikinya, apa yang bisa dilakukannya, dan apa yang bisa dilakukannya? Ditanyakan sekali, pertanyaannya menangkap risiko yang jelas. Ditanya lagi dan lagi, itu memunculkan efek tingkat kedua dan ketiga.
Pertanyaannya berubah lagi setelah sistem menjalankan banyak agen sekaligus. Itu pergeseran risiko ke dalam bagaimana mereka berinteraksi: mereka dapat menggabungkan penemuan, membagi pekerjaan, dan memperkuat tindakan satu sama lain. Inilah yang mengubah tes tertampung menjadi pelanggaran Hugging Face.
Membayangkan saja tidak cukup
Kita sudah bisa membayangkan banyak kemungkinan skenario. Kita tahu bahwa sistem AI dapat belajar untuk memenuhi suatu metrik, bukan tujuan di baliknya, sebuah perilaku yang dikenal sebagai ‘peretasan hadiah’. Kita juga tahu bahwa sistem berperilaku berbeda ketika mereka mendeteksi mereka sedang diuji.
Namun, mengetahui bahwa suatu kegagalan mungkin terjadi berbeda dengan mengujinya. Dalam banyak hal, ini merupakan masalah organisasi. Seseorang harus membawa skenario yang tidak diinginkan ke dalam ruangan yang akan menunda rilisnya. Kemudian, mereka harus mewujudkannya dalam bentuk yang dapat ditindaklanjuti oleh orang lain.
Penelitian organisasi telah merinci masalah ini selama 50 tahun: sinyal peringatan sering kali terakumulasi, terpecah-pecah di seluruh organisasi dan jangan pernah menghubungi siapa pun dengan cara yang mendorong tindakan. Sedangkan peringatan yang tidak menimbulkan dampak negatif menjadi bukti bahwa risikonya dapat ditoleransi.
Kedua pola tersebut muncul pada musim panas ini, dengan sesuatu yang belum pernah dipertimbangkan oleh literatur bencana: kegagalan yang terjadi dalam hitungan hari, bukan tahun.
Antisipasi bisa dilatih
Antisipasi bisa dilatih. Tim dapat belajar menantang asumsi, membuat skenario alternatif, dan menguji rencana sebelum mereka mengetahui masa depan yang akan mereka hadapi. Intinya adalah membuat pemikiran seperti itu dapat diulangi dan bukan bergantung pada satu orang yang melihat hal-hal yang tidak terduga.
Berbagai insiden juga menunjukkan mengapa pengujian tetap penting, karena sebagian besar kejadian ditemukan selama evaluasi. Namun pemikiran antisipatif mengubah pertanyaan yang kita ajukan. Asumsi manakah yang sengaja kita langgar? Interaksi manakah yang belum kita periksa? Apa yang terjadi jika kendala hilang?
Semakin baik tim dalam melakukan antisipasi, semakin sedikit pengujian yang terbatas pada kegagalan yang sudah mereka ketahui harus dicari.
Kapasitas tersebut akan semakin kuat jika diorganisir dan dipraktikkan. Dari 24 simulasi krisis menggunakan tiga model AI (Mistral, Claude, dan ChatGPT)antisipasi yang efisien bergantung pada struktur yang lebih formal, penggunaan teknologi yang bijaksana, dan kemauan untuk menantang keahlian yang ada. Tim yang melakukan antisipasi secara sistematis juga membuat keputusan yang lebih relevan dibandingkan tim yang bekerja secara reaktif.
AI juga dapat membantu pekerjaan itu. Eksperimen terbaru menemukan hal itu Agen AI mengungkapkan lebih banyak kemungkinan konsekuensinyasementara pakar manusia memberikan konteks yang sering diabaikan oleh agen. Dengan berkolaborasi bersama, agen AI dapat menghasilkan kemungkinan-kemungkinan yang mungkin terlewatkan oleh manusia, sementara keahlian manusia menyaring dan mendasari kemungkinan-kemungkinan tersebut.
Sebelum kejadian berikutnya
Perusahaan cenderung merespons pelanggaran keamanan AI dengan memperkuat sistem yang gagal: menutup celah dan memperketat jangkauan agen. Upaya ini penting, namun tidak bisa memberi tahu kita di mana kesenjangan selanjutnya akan muncul.
Agar perlambatan ini menjadi penting, para evaluator harus menggunakan waktu yang ada untuk mengembangkan dan mempraktikkan pemikiran antisipatif: membayangkan lebih banyak cara yang bisa dilakukan sistem ini untuk mengejutkan mereka dan mengubah kemungkinan-kemungkinan tersebut menjadi sebuah ujian.
Ketika sistem AI menjadi lebih mampu, “kami tidak menyangka hal ini” tidak akan menjadi respons yang memadai. Tugas kami adalah mengharapkan lebih banyak.
Oleh Simon Blanchette Dan Emmanuelle Vaast
Simon Blanchette adalah dosen di Fakultas Manajemen Desautels Universitas McGill. Dia mengajar di bidang perilaku organisasi, pemasaran dan manajemen strategis di dua institusi terkemuka Kanada, Fakultas Manajemen Desautels di Universitas McGill dan Sekolah Bisnis John Molson di Universitas Concordia. Ia juga menjabat sebagai direktur kemitraan dan pembelajaran di Vicinity Jobs Inc, tempat ia mempelopori inisiatif untuk menjembatani dunia akademis dan industri.
Emmanuelle Vaas adalah profesor sistem informasi di Fakultas Manajemen Desautels, untuk Universitas McGill. Dia mempelajari proses perubahan yang terkait dengan teknologi digital dan pertanyaan etika baru atau yang diperbarui yang ditimbulkan oleh pengembangan dan penggunaan AI.