Jensen Huang sebelumnya menyatakan bahwa dia ingin industri ini mengatur sendiri keselamatan AI, dan undang-undang baru tidak diperlukan.
Nvidia telah meluncurkan platform perangkat lunak sumber terbuka yang menjanjikan pembatasan yang lebih baik bagi agen AI untuk mengambil tindakan bermasalah guna mencapai tujuannya.
‘Platform Keamanan Agen Terbuka’ bertujuan untuk memperkuat keamanan AI mulai dari pengujian agen hingga penerapan, dengan perangkat lunak yang memantau dan menetapkan batasan untuk agen yang berjalan pada CPU.
Salah satu bagian dari tumpukan, perangkat lunak OpenShell, menjalankan agen di kotak pasir dan mengubah instruksi operator menjadi kebijakan yang ditentukan. Perangkat lunak ini kompatibel dengan platform komputasi pihak ketiga, termasuk platform dari Arm dan Intel.
Sementara itu, Sentry menyediakan penegakan keamanan dalam silikon, sehingga memberikannya kemampuan untuk mengkarantina dan menghentikan agen AI yang berperilaku buruk.
Peluncuran ini merupakan respons langsung dari Nvidia terhadap ancaman keamanan jenis baru di mana agen AI mengambil lompatan besar dalam kebebasan mengakses data. Pekan lalu, Australia melaporkan satu insiden serupa, di mana agen OpenAI meretas situs pemerintah dan bahkan menulis ulang beberapa file internal.
Belakangan pada minggu itu, perusahaan tersebut mengkonfirmasi insiden serupa yang berkaitan dengan sejumlah situs web departemen pemerintah AS.
“Potensi AI yang luar biasa bagi masyarakat hanya akan terwujud jika kita mengatasi masalah keamanan AI,” kata Jensen Huang, pendiri dan CEO Nvidia, hari ini (28 September). Huang, dalam sebuah wawancara awal bulan ini, mengatakan kepada CNBC bahwa perusahaan AI perlu merilis produk yang lebih aman daripada memaksakan peraturan yang lebih baik.
Baik OpenAI maupun Anthropic, dalam beberapa minggu terakhir, mengeluarkan komentar yang menyerukan keamanan AI yang lebih kuat, tata kelola, dan pengembangan yang lebih lambat.
“Sejak sekitar musim panas ini, AI telah berkembang jauh lebih cepat, terutama didorong oleh meningkatnya kemampuan AI untuk membangun AI generasi berikutnya,” tulis CEO Anthropic Dario Amodei dalam postingan blognya bulan ini.
Perusahaan ini telah meminta Accenture untuk menguji secara independen pengembangan AI terdepannya dalam evaluasi keamanan pihak ketiga yang pertama.
Sementara itu, Sam Altman mengatakan dia menunda rencana pencatatan publik OpenAI karena masalah seputar keamanan AI. “Ada banyak hal yang harus kita lakukan, seperti memenuhi momen ini tentang apa yang diperlukan untuk keselamatan dan keselarasan, dan bagaimana industri dan pemerintah dapat bekerja sama,” katanya kepada Fortune.
Axios melaporkan pada akhir pekan bahwa perusahaan AI terkemuka sedang menyelidiki “puluhan ribu insiden” di mana model mereka bertindak tidak sesuai pesanan.
Tapi Huang tidak setuju. Dalam komentarnya kepada CNBC, CEO mengatakan: “Fakta bahwa kita memerlukan undang-undang baru, undang-undang antimonopoli baru, atau peraturan baru, sehingga perusahaan-perusahaan ini dapat melakukan rekayasa mendasar dan melakukannya dengan benar sebelum merilis produk, itu sama sekali tidak diperlukan.
“Keamanan AI adalah hal yang nyata,” kata Huang. “Merekayasa produk agar aman untuk digunakan oleh dunia – itu adalah hal yang nyata. Dan perusahaan harus berinovasi secepat mungkin, namun mereka tidak boleh berinovasi terlalu cepat sehingga menghasilkan produk yang tidak aman.”
Pandangannya muncul ketika Presiden AS Donald Trump baru-baru ini menyebut kekhawatiran seputar keamanan AI sebagai “hoax” dan menolak gagasan untuk membatasi teknologi tersebut. Huang adalah anggota dewan penasihat bidang sains dan teknologi pemerintahan Trump.
“Seiring kita terus menemukan batas kemampuan AI, kita harus mempercepat penemuan batas keamanan AI,” kata Huang dalam pernyataan yang mengumumkan platform sumber terbuka baru perusahaan tersebut hari ini.
“Platform Keamanan Agen Terbuka Nvidia menyatukan industri, peneliti, dan organisasi sektor publik untuk berbagi praktik terbaik, menyelaraskan metode evaluasi, dan mendorong kerja sama internasional. Bersama-sama, kita dapat meningkatkan standar keamanan AI global.”
Pembuat chip tersebut membentuk Open Secure AI Alliance awal tahun ini setelah pelanggaran Hugging Face OpenAI mengirimkan gelombang kejutan ke seluruh industri.
Aliansi baru ini, yang beranggotakan puluhan orang, termasuk Adobe, CrowdStrike, Hugging Face, dan Dell, ingin mengembangkan dan berbagi alat yang dirancang untuk meningkatkan keselamatan AI dan keamanan siber. Nvidia setuju untuk mengakuisisi Hugging Face senilai hampir $13 miliar awal bulan ini.