AI sekarang dapat digunakan untuk merancang virus baru. Bisakah kita menghentikannya dari membuat bioweapon yang menghancurkan berikutnya?
Para ilmuwan telah menggunakan kecerdasan buatan (Ai) Untuk membangun virus baru, membuka pintu bagi bentuk kehidupan yang dirancang AI.
Itu virus cukup berbeda dari strain yang ada untuk berpotensi memenuhi syarat sebagai spesies baru. Mereka adalah bakteriofag, yang berarti mereka menyerang bakteri, bukan manusia, dan penulis penelitian mengambil langkah -langkah untuk memastikan model mereka tidak dapat merancang virus yang mampu menginfeksi orang, hewan atau tumbuhan.
Dalam penelitian ini, diterbitkan Kamis (2 Oktober) di jurnal Sainspara peneliti dari Microsoft mengungkapkan bahwa AI dapat mengatasi langkah -langkah keselamatan yang jika tidak akan mencegah aktor buruk memesan molekul beracun dari perusahaan pasokan, misalnya.
Setelah mengungkap kerentanan ini, tim peneliti bergegas untuk membuat tambalan perangkat lunak yang sangat mengurangi risiko. Perangkat lunak ini saat ini membutuhkan keahlian khusus dan akses ke alat tertentu yang tidak dapat digunakan oleh kebanyakan orang di depan umum.
Gabungan, studi baru menyoroti risiko bahwa AI dapat merancang bentuk hidup atau bioweapon baru yang menimbulkan ancaman bagi manusia – berpotensi melepaskan a pandemidalam skenario terburuk. Sejauh ini, AI tidak memiliki kemampuan itu. Tetapi para ahli mengatakan bahwa masa depan di mana ia tidak begitu jauh.
Untuk mencegah AI melakukan bahaya, kata para ahli, kita perlu membangun sistem keselamatan multi-lapisan, dengan alat penyaringan yang lebih baik dan peraturan yang berkembang yang mengatur sintesis biologis yang digerakkan oleh AI.
Masalah ganda
Inti dari masalah dengan virus yang dirancang AI, protein dan produk biologis lainnya adalah apa yang dikenal sebagai “masalah penggunaan ganda.” Ini mengacu pada teknologi atau penelitian apa pun yang dapat memiliki manfaat, tetapi juga dapat digunakan untuk secara sengaja menyebabkan kerusakan.
Seorang ilmuwan yang mempelajari penyakit menular mungkin ingin secara genetik memodifikasi virus untuk mempelajari apa yang membuatnya lebih dapat ditularkan. Tetapi seseorang yang bertujuan untuk memicu pandemi berikutnya dapat menggunakan penelitian yang sama untuk merekayasa patogen yang sempurna. Penelitian tentang pemberian obat aerosol dapat membantu orang dengan asma dengan mengarah ke inhaler yang lebih efektif, tetapi desainnya juga dapat digunakan untuk memberikan senjata kimia.
Mahasiswa doktoral Stanford Sam King dan atasannya Brian HieAsisten Profesor Teknik Kimia, menyadari pedang bermata dua ini. Mereka ingin membangun bakteriofag baru-atau “fag,” singkatnya-yang dapat memburu dan membunuh bakteri pada pasien yang terinfeksi. Upaya mereka dijelaskan dalam pracetak yang diunggah ke BiorHivive Database pada bulan September, dan mereka belum ditinjau sejawat.
Fag memangsa bakteri, dan bakteriofag yang dimiliki para ilmuwan diambil sampelnya dari lingkungan dan dibudidayakan di lab sudah diuji sebagai tambahan potensial atau alternatif antibiotik. Ini bisa membantu menyelesaikan masalah resistensi antibiotik dan menyelamatkan nyawa. Tetapi fag adalah virus, dan beberapa virus berbahaya bagi manusia, meningkatkan kemungkinan teoretis bahwa tim secara tidak sengaja dapat menciptakan virus yang dapat membahayakan orang.
Para peneliti mengantisipasi risiko ini dan mencoba menguranginya dengan memastikan bahwa model AI mereka tidak dilatih pada virus yang menginfeksi manusia atau eukariota lainnya – domain kehidupan yang mencakup tanaman, hewan, dan segala sesuatu yang bukan bakteri atau archaea. Mereka menguji model untuk memastikan mereka tidak dapat secara mandiri menghasilkan virus yang mirip dengan yang diketahui menginfeksi tanaman atau hewan.
Dengan perlindungan di tempat, mereka meminta AI untuk memodelkan desainnya pada fag yang sudah banyak digunakan dalam studi laboratorium. Siapa pun yang ingin membangun virus mematikan kemungkinan akan memiliki waktu yang lebih mudah menggunakan metode yang lebih lama yang telah ada lebih lama, kata King.
“Keadaan metode ini saat ini adalah cukup menantang dan membutuhkan banyak keahlian dan waktu,” kata King kepada Live Science. “Kami merasa bahwa ini saat ini tidak menurunkan penghalang ke aplikasi yang lebih berbahaya.”
Keamanan yang berpusat
Tetapi di bidang yang berkembang pesat, tindakan pencegahan seperti itu diciptakan saat bepergian, dan belum jelas standar keselamatan apa yang pada akhirnya akan cukup. Para peneliti mengatakan peraturan tersebut perlu menyeimbangkan risiko biologi yang mendukung AI dengan manfaatnya. Terlebih lagi, para peneliti harus mengantisipasi bagaimana model AI dapat mengapung di sekitar rintangan yang ditempatkan di depan mereka.
“Model -model ini cerdas,” kata Tina Hernandez-Boussardseorang profesor kedokteran di Stanford University School of Medicine, yang berkonsultasi dengan keselamatan untuk model AI pada tolok ukur urutan virus yang digunakan dalam studi preprint baru. “Anda harus ingat bahwa model -model ini dibangun untuk memiliki kinerja tertinggi, jadi begitu mereka diberi data pelatihan, mereka dapat mengesampingkan perlindungan.”
Berpikir dengan hati -hati tentang apa yang harus disertakan dan dikecualikan dari data pelatihan AI adalah pertimbangan dasar yang dapat menghindari banyak masalah keamanan di ujung jalan, katanya. Dalam studi fag, para peneliti menahan data pada virus yang menginfeksi eukariota dari model. Mereka juga menjalankan tes untuk memastikan model tidak dapat secara mandiri mencari tahu sekuens genetik yang akan membuat bakteriofag mereka berbahaya bagi manusia – dan model tidak.
Benang lain dalam jaring pengaman AI melibatkan terjemahan desain AI – serangkaian instruksi genetik – ke dalam protein aktual, virus, atau produk biologis fungsional lainnya. Banyak perusahaan pemasok biotek terkemuka menggunakan perangkat lunak untuk memastikan bahwa pelanggan mereka tidak memesan molekul beracun, meskipun menggunakan skrining ini bersifat sukarela.
Namun dalam studi baru mereka, peneliti Microsoft Eric HorvitzChief Science Officer Perusahaan, dan Bruce Wittmanseorang ilmuwan senior terapan, menemukan bahwa perangkat lunak penyaringan yang ada dapat dibodohi oleh desain AI. Program -program ini membandingkan urutan genetik dalam urutan dengan urutan genetik yang diketahui menghasilkan protein beracun. Tetapi AI dapat menghasilkan urutan genetik yang sangat berbeda yang cenderung mengkode fungsi toksik yang sama. Dengan demikian, urutan yang dihasilkan AI ini tidak perlu menaikkan bendera merah ke perangkat lunak.
Ada ketegangan yang jelas di udara di antara pengulas sejawat.
Eric Horvitz, Microsoft
Para peneliti meminjam proses dari cybersecurity untuk mengingatkan para ahli tepercaya dan organisasi profesional untuk masalah ini dan meluncurkan kolaborasi untuk menambal perangkat lunak. “Beberapa bulan kemudian, tambalan diluncurkan secara global untuk memperkuat penyaringan biosekuriti,” kata Horvitz pada konferensi pers 30 September.
Tambalan -tambalan ini mengurangi risiko, meskipun di empat alat skrining yang umum digunakan, rata -rata 3% dari sekuens gen yang berpotensi berbahaya masih tergelincir, Horvitz dan rekannya melaporkan. Para peneliti harus mempertimbangkan keamanan bahkan dalam menerbitkan penelitian mereka. Makalah ilmiah dimaksudkan untuk ditiru, yang berarti peneliti lain memiliki informasi yang cukup untuk memeriksa temuan. Tetapi menerbitkan semua data tentang urutan dan perangkat lunak dapat memberi tahu aktor buruk tentang cara untuk menghindari tambalan keamanan.
“Ada ketegangan yang jelas di udara di antara pengulas peer tentang, 'bagaimana kita melakukan ini?'” Kata Horvitz.
Tim akhirnya mendarat di sistem akses berjenjang di mana para peneliti yang ingin melihat data sensitif akan berlaku untuk biosecurity internasional dan inisiatif biosafety untuk sains (IBBIS), yang akan bertindak sebagai pihak ketiga yang netral untuk mengevaluasi permintaan tersebut. Microsoft telah membuat dana abadi untuk membayar layanan ini dan meng -host data.
Ini adalah pertama kalinya jurnal sains top telah mendukung metode berbagi data, kata Tessa Alexaniantimbal teknis pada mekanisme umum, alat skrining urutan genetik yang disediakan oleh IBBIS. “Program akses yang dikelola ini merupakan percobaan dan kami sangat ingin mengembangkan pendekatan kami,” katanya.
Apa lagi yang bisa dilakukan?
Belum ada banyak peraturan di sekitar alat AI. Pemutaran seperti yang dipelajari dalam makalah sains baru bersifat sukarela. Dan ada perangkat yang dapat membangun protein tepat di laboratorium, tidak ada pihak ketiga yang diperlukan – sehingga aktor yang buruk dapat menggunakan AI untuk merancang molekul berbahaya dan membuatnya tanpa penjaga gerbang.
Namun, ada bimbingan yang berkembang seputar biosekuriti dari konsorsium profesional dan pemerintah. Misalnya, a 2023 Perintah Eksekutif Presiden Di AS menyerukan fokus pada keselamatan, termasuk “evaluasi sistem AI yang kuat, dapat diandalkan, berulang, dan standar dari sistem AI” dan kebijakan dan lembaga untuk mengurangi risiko. Administrasi Trump sedang mengerjakan kerangka kerja yang akan membatasi dana penelitian dan pengembangan federal untuk perusahaan yang tidak melakukan pemutaran keselamatan, kata Diggans.
“Kami telah melihat lebih banyak pembuat kebijakan yang tertarik untuk mengadopsi insentif untuk skrining,” kata Alexanian.
Di Inggris, sebuah organisasi yang didukung negara memanggil AI Security Institute bertujuan untuk menumbuhkan kebijakan dan standar untuk mengurangi risiko dari AI. Organisasi ini mendanai proyek-proyek penelitian yang berfokus pada mitigasi keselamatan dan risiko, termasuk membela sistem AI terhadap penyalahgunaan, membela terhadap serangan pihak ketiga (seperti menyuntikkan data yang rusak ke dalam sistem pelatihan AI), dan mencari cara untuk mencegah model publik, penggunaan terbuka digunakan untuk tujuan berbahaya.
Berita baiknya adalah, karena urutan genetik yang dirancang AI menjadi lebih kompleks, yang sebenarnya memberikan alat penyaringan lebih banyak informasi untuk dikerjakan. Itu berarti bahwa desain seluruh genom, seperti bakteriofag King dan Hie, akan cukup mudah untuk disaring untuk bahaya potensial.
“Secara umum, penyaringan sintesis beroperasi lebih baik pada lebih banyak informasi daripada kurang,” kata Diggans. “Jadi pada skala genom, ini sangat informatif.”
Microsoft berkolaborasi dengan lembaga pemerintah tentang cara -cara menggunakan AI untuk mendeteksi penyimpangan AI. Sebagai contoh, kata Horvitz, perusahaan sedang mencari cara untuk menyaring data limbah dan berkualitas udara dalam jumlah besar untuk menemukan bukti pembuatan racun, protein atau virus berbahaya. “Saya pikir kita akan melihat skrining bergerak di luar situs asam nukleat tunggal itu [DNA] Sintesis dan di seluruh ekosistem, “kata Alexanian.
Dan sementara AI secara teoritis dapat merancang genom baru untuk spesies baru bakteri, archaea atau organisme yang lebih kompleks, saat ini tidak ada cara mudah bagi AI untuk menerjemahkan instruksi AI menjadi organisme hidup di laboratorium, kata King. Ancaman dari kehidupan yang dirancang AI tidak langsung, tetapi mereka tidak jauh jauh. Mengingat AI Horizons baru kemungkinan akan diungkapkan dalam waktu dekat, ada kebutuhan untuk menjadi kreatif di seluruh lapangan, kata Hernandez-Boussard.
“Ada peran untuk penyandang dana, untuk penerbit, untuk industri, untuk akademisi,” katanya, “karena, sungguh, komunitas multidisiplin ini untuk memerlukan evaluasi keselamatan ini.”
