Muneera Bano dan Didar Zowghi dari CSIRO mengeksplorasi faktor manusia yang sering menyebabkan bias AI.
Versi artikel ini awalnya diterbitkan oleh The Conversation (CC BY-ND 4.0)
Di Amerika Serikat, perusahaan perangkat lunak HR terkemuka, Workday, adalah sedang dihadapi gugatan atas penggunaan alat penyaringan pekerjaan yang didukung oleh AI yang diduga mendiskriminasi pelamar berdasarkan faktor-faktor seperti usia, disabilitas, dan ras.
Perusahaan, yang perangkat lunak perekrutannya banyak digunakan oleh perusahaan besar di seluruh dunia, telah melakukannya ditolak tuduhan tersebut.
Kasus ini adalah salah satu dari banyak contoh dugaan adanya sistem AI menyebabkan kerugian yang diskriminatif. Ketika sistem AI meniru dan memperkuat diskriminasi, sistem tersebut mengaburkan batas antara kesalahan teknis dan ketidakadilan sistem, sehingga mengubah bias menjadi kerugian digital.
Meskipun naluri pertama kita mungkin menyalahkan algoritma, algoritma tidak menentukan apa yang bisa dihasilkan, perlindungan apa yang dibangun di dalamnya, atau bagaimana perusahaan merespons ketika insiden diskriminasi dilaporkan. Orang-orang melakukan panggilan tersebut jauh sebelum AI menghasilkan keluaran apa pun.
Itulah sebabnya perbaikan teknis pada sistem AI saja tidak cukup. Yang diperlukan adalah perombakan ekosistem AI untuk memastikan ekosistem tersebut lebih inklusif.
Pola yang lebih luas
Sistem AI secara diam-diam mempersempit siapa yang dianggap kompeten, dapat dipekerjakan, atau cocok untuk memimpin.
Misalnya pada tahun 2025 belajarkami menguji dua model AI, GPT-4 OpenAI (yang sekarang telah ada pensiun) dan Microsoft Copilot, mewakili insinyur perangkat lunak dalam simulasi latihan rekrutmen: 300 profil kandidat untuk empat peran pekerjaan, diikuti dengan rekomendasi dan gambar yang dihasilkan dari masing-masing kandidat pilihan model AI.
Kedua model tersebut menyukai profil laki-laki, terutama untuk peran senior. Citra mereka juga cenderung mengarah pada insinyur yang lebih muda, lebih langsing, dan berkulit lebih terang. Model tersebut mereproduksi asosiasi yang tertanam dalam bahasa, citra, catatan pekerjaan, dan lain-lain asumsi tentang siapa yang termasuk dalam profesi tersebut.
Keluaran ini tidak hanya terkandung dalam studi penelitian. Rekomendasi yang dihasilkan AI mulai masuk mempekerjakan, pendidikan Dan layanan publik.
Ini penting kapan demografi tertentu Dan perempuan masih kurang terwakili dalam pengembangan dan kepemimpinan AI, namun mereka juga terkena dampak buruknya secara tidak proporsional.
Masalahnya tidak terbatas pada gender dan ras.
Bahkan ketika sistem AI beroperasi secara lintas sektoral bahasa dan budaya yang berbedamereka sering kali mereproduksi nilai-nilai, asumsi, dan cara memahami dunia yang didominasi Barat. Negara-negara kaya telah menjadi penerima manfaat utama AI, yang memperluas kesenjangan global.
Di dalam studi lain mulai tahun 2025, kami meninjau secara manual insiden AI yang dilaporkan.
Hampir separuhnya melibatkan isu keberagaman atau inklusi, dengan diskriminasi ras, gender, dan usia yang paling menonjol. Dampak buruknya dapat ditelusuri kembali ke berbagai titik dalam siklus hidup pengembangan AI: data pelatihan yang tidak beragam, dan pengabaian prinsip-prinsip keberagaman dan inklusi selama desain, pengembangan, dan penerapan.
Mengapa perbaikan teknis saja tidak cukup
Pekerjaan teknis penting, termasuk identifikasi bias, penyeimbangan ulang kumpulan data, dan penyesuaian keluaran. Namun perbaikan ini sering kali menganggap bias sebagai properti model AI, padahal sebagian besar bias berasal dari luar sistem.
Data tidak masuk ke sistem AI sebagai a catatan realitas yang netral.
Orang-orang memutuskan data apa yang akan dikumpulkan, bagaimana memberi label dan mengkategorikannya, dan pengalaman siapa yang penting. Keputusan-keputusan ini dibentuk oleh sejarah, norma-norma budaya, institusi-institusi dan ketidakseimbangan kekuasaan yang ada.
Dimanapun masyarakat menghubungkan kepemimpinan dengan laki-laki, keterampilan teknis dengan kulit yang lebih cerah, atau inovasi dengan generasi muda, model AI belajar dari asosiasi tersebut dan memformalkan, mengotomatisasi, dan mengulanginya dalam skala yang lebih besar.
Bias juga biasanya muncul melalui persinggungan berbagai identitas, seperti gender, ras, usia, disabilitas, dan kelas. Sebuah sistem yang terlihat adil ketika setiap identitas diuji secara terpisah masih dapat merugikan orang-orang jika ada beberapa identitas yang tumpang tindih.
Membangun ekosistem AI yang lebih inklusif
Itu sebabnya diperlukan pembangunan ekosistem AI yang lebih inklusif pengetahuan interdisiplinerseperti mendidik insinyur AI tentang teori ilmu sosial untuk membantu mereka memahami asal mula bias sosial.
AI inklusif bukan tentang kebenaran politik; ini tentang menegakkan hak asasi manusia, mencegah kejahatan, menjamin keadilan, dan membangun kepercayaan.
Hal ini juga memerlukan partisipasi tulus dari kelompok-kelompok yang terkena dampak dan perhatian berkelanjutan terhadap struktur kekuasaan di mana sistem tersebut beroperasi. Tim pengembangan AI harus menguji tidak hanya apakah suatu model akurat, namun juga apakah manfaat, kesalahan, dan kerugiannya didistribusikan secara adil ke berbagai kelompok.
Secara bersama-sama, hal ini akan membantu memastikan perusahaan-perusahaan teknologi lebih memahami sifat bias ketika bias tersebut terwujud melalui AI dan oleh karena itu mengembangkan metode atau alat baru untuk meminimalkan dampak buruk yang ditimbulkannya.
Organisasi yang mengadopsi AI juga memerlukan tata kelola yang lebih kuat untuk memantau perilaku teknologi. Hal ini dapat mencakup, misalnya, memiliki seseorang yang bertanggung jawab meninjau risiko Dan menanggapi insiden dan sistem pemantauan setelah kejadian tersebut ditayangkan.
Algoritme tidak memutuskan data mana yang penting atau tingkat risiko apa yang dapat diterima. Orang-orang membuat pilihan ini. Sudah saatnya perusahaan teknologi mengingat hal itu. Fokusnya tidak hanya pada perbaikan algoritma yang bias, namun pada pemeriksaan keputusan manusia yang memungkinkan adanya risiko bahaya, dan siapa saja yang hilang ketika keputusan tersebut dibuat.
Oleh Muneera Bano Dan Didar Zowghi
Dr Muneera Bano adalah ilmuwan peneliti utama di CSIRO Data61 dan peneliti AI yang bertanggung jawab yang diakui secara internasional. Dia memimpin penelitian tentang keberagaman dan inklusi dalam AI, mengembangkan metode rekayasa praktis dan pendekatan tata kelola yang membantu organisasi merancang sistem AI yang dapat melayani masyarakat dan komunitas yang terkena dampaknya dengan lebih baik. Penelitiannya menjembatani rekayasa perangkat lunak, tata kelola AI, dan desain yang berpusat pada manusia, dengan fokus kuat pada penerjemahan bukti ke dalam praktik melalui kolaborasi dengan pemerintah dan industri.
Prof Didar Zowghi adalah ilmuwan peneliti utama senior di CSIRO Data61. Dia memimpin tim sains dalam ‘Keberagaman dan Inklusi dalam Kecerdasan Buatan’ dan ‘Rekayasa Persyaratan untuk AI yang Bertanggung Jawab’. Dia membangun tim peneliti untuk merintis bidang penelitian baru yang mengeksplorasi tantangan dan peluang keberagaman dan inklusi dalam mencapai AI yang bertanggung jawab.