‘Ilmuwan AI’ semakin membaik, tapi apa batasan mendasarnya?

Karin Verspoor dari RMIT University mengeksplorasi bagaimana AI memengaruhi penelitian di STEM.

Banyak penemuan paling menarik dalam sains melibatkan pengetahuan yang sangat terspesialisasi dan menghubungkan fakta-fakta yang sangat luas. Para ilmuwan harus menggabungkan analisis mendalam dengan strategi penalaran yang luas.

Seperti halnya banyak tugas yang kaya informasi, para peneliti mencari sistem kecerdasan buatan (AI) untuk mempercepat pekerjaan mereka. Alat AI mungkin dapat mendukung langkah-langkah penting seperti menghasilkan ide, meninjau pekerjaan yang ada, dan menganalisis data.

Sistem terbaru ini menggunakan model bahasa besar (LLM) yang memungkinkan para ilmuwan berinteraksi secara alami dan langsung dengan sejumlah besar pengetahuan yang terkandung dalam kata-kata dalam literatur ilmiah.

Tapi sebagai dua baru sistem yang dijelaskan dalam makalah yang baru saja diterbitkan di Nature menunjukkan bahwa jika menyangkut sains, bahasa saja tidak akan mampu mencapai tujuan tersebut.

Apa yang dilakukan AI terhadap sains

Sejumlah organisasi, seperti Sakana AImencoba mengotomatiskan seluruh proses ilmiah. Sampai saat ini, upaya-upaya ini sebagian besar terfokus pada ilmu komputer, di mana ‘eksperimen’ terutama melibatkan perancangan dan penulisan kode.

Namun, itu Agen4Ilmu Pengetahuan konferensi yang diselenggarakan di Stanford pada bulan Oktober lalu memamerkan lebih banyak makalah yang dihasilkan oleh AI. Mereka membahas topik mulai dari teknik mesin dan desain protein hingga sistem yang disebut Ilmuwan Buruk yang dengan sengaja menghasilkan penelitian yang “meyakinkan namun tidak masuk akal”.

saya pernah melakukannya sebelumnya mengangkat kekhawatiran tentang dampak ilmuwan AI terhadap ekosistem ilmiah. Penelitian terbaru memvalidasi kekhawatiran ini dan menunjukkan kuantitasnya meningkat tetapi kualitasnya menurun dari makalah dan tinjauan sejawat, mengidentifikasi referensi palsu dalam karya yang diterbitkanmenemukan gambar palsu dan menyesatkandan banyak lagi.

Apa yang dilakukan para ilmuwan dengan AI

Sistem AI jelas tidak dapat dipercaya untuk menjalankan seluruh proses sains secara mandiri. Namun bagaimana dengan penggunaan AI untuk membantu ilmuwan menyelesaikan lebih banyak hal dengan lebih cepat?

Inilah maksud dari dua sistem baru yang dijelaskan di Nature: Robindibuat oleh organisasi nirlaba Rumah Masa DepanDan Rekan Ilmuwandari Google DeepMind.

Kedua sistem bertujuan untuk mempercepat penemuan ilmiah, bekerja sama dengan ilmuwan. Keduanya juga merupakan sistem AI ‘multi-agen’, artinya keduanya dibangun sebagai kumpulan agen khusus yang masing-masing menargetkan langkah spesifik dalam proses penemuan ilmiah, yang dikoordinasikan oleh agen ‘penyelia’.

Agen yang terdiri dari Co-Scientist bertujuan untuk mencerminkan tugas kognitif abstrak, seperti ‘agen refleksi’ yang bertindak sebagai peninjau sejawat ilmiah kritis yang menilai kualitas hipotesis. ‘Agen pemeringkatan’ memperdebatkan hipotesis penelitian dalam ‘turnamen’, menggunakan beberapa LLM yang berinteraksi untuk mensimulasikan diskusi tentang manfaat relatif dari dua hipotesis.

Agen Robin, di sisi lain, lebih terbiasa dengan tugas spesifik yang relevan dengan penggunaan kembali obat, yang bertujuan untuk mengidentifikasi obat baru untuk penyakit tertentu. Satu agen berfokus pada pemilihan tes eksperimental, sementara agen lainnya menganalisis data biomedis yang kompleks.

Bagaimana hasilnya?

Co-Scientist dapat menilai kualitas proposal yang dihasilkan, menggunakan metode yang disebut Peringkat Elo yang terkenal dengan pemeringkatan pecatur. Penilaian mandiri Co-Scientist mengenai kebaruan dan dampak keluarannya selaras dengan preferensi pakar manusia dan penilaian sistem LLM lainnya.

Dalam eksperimen penggunaan kembali obat, Co-Scientist memilih 30 kandidat obat sebagai pengobatan yang menjanjikan untuk jenis kanker yang disebut leukemia myeloid akut. Ahli onkologi (manusia) menyempurnakan daftarnya, dan lima obat diuji di laboratorium. Dari jumlah tersebut, tiga menunjukkan hasil yang positif dan satu tampaknya menunjukkan hasil yang menjanjikan.

Eksperimen lain menunjukkan potensi Co-Scientist untuk mengeksplorasi kombinasi berbagai obat.

Khususnya, prediksi Co-Scientist tidak bisa dibandingkan dengan kebanyakan prediksi lainnya metode komputasi dan pembelajaran mesin yang ditargetkan untuk penggunaan kembali obat yang telah dikembangkan selama beberapa dekade penelitian biologi komputasi. Ini berarti kita tidak tahu apakah alat serba guna yang baru ini mengungguli pendekatan AI yang lebih spesifik.

Kedua sistem tidak lagi memvalidasi hipotesis mereka secara langsung, yang akan melibatkan eksperimen fisik nyata. Keduanya juga sangat bergantung pada masukan manusia untuk menentukan pertanyaan ilmiah utama, memeriksa prediksi, dan memprioritaskan prediksi untuk penyelidikan lebih lanjut.

Co-Scientist berfokus terutama pada menghasilkan hipotesis melalui agen penalaran yang rumit, menyerahkan validasi dan interpretasi pada langkah selanjutnya. Robin juga menggunakan agen untuk menganalisis data yang dihasilkan dari eksperimen dunia nyata.

Robin pernah mengusulkan 30 kandidat obat untuk suatu kondisi yang disebut degenerasi makula terkait usia kering. Lima teratas dipilih untuk pengujian.

Robin juga membuat proposal untuk eksperimen tersebut, dengan beberapa saran yang ditolak oleh para ilmuwan manusia. Melalui beberapa putaran brainstorming dan analisis, dua obat diidentifikasi menjanjikan.

Pengujian terhadap masing-masing agen Robin menunjukkan bahwa agen yang menggali melalui penelitian sebelumnya lebih baik dalam melakukan tugasnya dibandingkan LLM tujuan umum. Agen analitis kurang berhasil dalam menjawab pertanyaan tentang statistik dan bioinformatika, dan sangat bergantung pada petunjuk yang diberikan manusia.

Batasan bahasa saja

AI dapat membantu para ilmuwan menavigasi sejumlah besar pengetahuan terdokumentasi yang diperoleh manusia selama ribuan tahun. Penggunaan komputasi untuk menemukan pola dalam kumpulan data yang besar, untuk mengintegrasikan informasi yang tersebar, dan untuk mendorong penemuan baru dari literatur yang ada telah berkontribusi terhadap kemajuan ilmu pengetahuan selama beberapa dekade.

Model-model baru seperti Robin dan Co-Scientist mewakili pergeseran ke arah bekerja secara langsung di bidang teknologi bahasa ilmu pengetahuan, bukan bidang data mentah. Hal ini memungkinkan kolaborasi yang lebih alami antara ilmuwan dan mesin, melalui ‘diskusi’ berbasis bahasa.

Namun, lebih alami belum tentu lebih efektif. Komunikasi berbasis bahasa bisa jadi tidak tepat dan ambigu, sehingga sains harus spesifik.

Model itu menggabungkan yang terbaik dari dunia ini berada di cakrawala. Hal ini bertujuan untuk menghubungkan data kuantitatif terstruktur dengan konsep dan hubungan yang menggambarkan fakta inti di bawahnya.

Model seperti ini mendasarkan penalaran ilmiah pada struktur pengetahuan. Mereka memungkinkan bukti ilmiah mulai dari urutan genom dan struktur protein hingga pencitraan seluler dapat dihubungkan.

Kata-kata adalah cara sains dikomunikasikan. Alat AI yang memudahkan memahami informasi yang tersembunyi di semua kata tersebut tentunya sangat berharga. Namun kompleksitas alam berarti bahwa AI (rekan-rekan) ilmuwan hanya akan benar-benar efektif ketika mereka dapat melakukan lebih dari sekadar menghubungkan kata-kata, hingga memodelkan seluruh kompleksitas sistem yang digambarkan oleh kata-kata tersebut.

Oleh Karin Verspoor

Karin Verspoor adalah dekan Sekolah Teknologi Komputasi di Universitas RMIT. Dia bekerja di persimpangan ilmu pengetahuan dan teknologi, menerapkan metode kecerdasan buatan untuk analisis dan interpretasi data biologis dan klinis, dengan fokus khusus pada pemrosesan bahasa alami dari data teks tidak terstruktur. Dia adalah anggota Akademi Sains dan Teknik Teknologi Australia dan Institut Kesehatan Digital Australasia. Ia juga merupakan salah satu pendiri dan pemimpin simpul Victoria dari Aliansi Australia untuk Kecerdasan Buatan dalam Layanan Kesehatan.