Jika AI mencoba mengambil alih dunia, jangan mengandalkan 'sakelar membunuh' untuk menyelamatkan umat manusia

Ketika dilaporkan bulan lalu bahwa Claude Antropik beralih ke pemerasan dan teknik mempertahankan diri lainnya Untuk menghindari ditutup, lonceng alarm berbunyi di komunitas AI.

Peneliti antropik mengatakan bahwa membuat model salah (“misalignment” dalam bahasa industri) adalah bagian dari membuat mereka lebih aman. Namun, episode Claude menimbulkan pertanyaan: apakah ada cara untuk mematikan AI begitu melampaui ambang batas menjadi lebih cerdas daripada manusia, atau yang disebut pengawasan?

AI, dengan pusat data yang luas dan kemampuannya untuk membuat percakapan yang kompleks, sudah di luar titik failsafe fisik atau “membunuh” – gagasan bahwa itu dapat dengan mudah dicabut sebagai cara untuk menghentikannya dari memiliki kekuatan apa pun.

Kekuatan yang akan lebih penting, menurut seorang pria yang dianggap sebagai “ayah baptis AI,” adalah kekuatan persuasi. Ketika teknologi mencapai titik tertentu, kita perlu meyakinkan AI bahwa kepentingan terbaiknya adalah melindungi kemanusiaan, sambil menjaga terhadap kemampuan AI untuk membujuk manusia sebaliknya.

“Jika menjadi lebih cerdas dari kita, itu akan menjadi lebih baik daripada orang dalam membujuk kita. Jika itu tidak memegang kendali, semua yang harus dilakukan hanyalah membujuk,” kata peneliti University of Toronto Geoffrey Hinton, yang bekerja di Google Brain hingga 2023 dan meninggalkan keinginannya untuk berbicara lebih bebas tentang risiko AI.

“Trump tidak menyerang Capitol, tetapi dia membujuk orang untuk melakukannya,” kata Hinton. “Pada titik tertentu, masalah menjadi kurang tentang menemukan saklar pembunuhan dan lebih banyak tentang kekuatan persuasi.”

Hinton mengatakan persuasi adalah keterampilan bahwa AI akan menjadi semakin terampil dalam digunakan, dan kemanusiaan mungkin tidak siap untuk itu. “Kami terbiasa menjadi hal yang paling cerdas di sekitar,” katanya.

Hinton menggambarkan sebuah skenario di mana manusia setara dengan anak berusia tiga tahun di pembibitan, dan saklar besar dihidupkan. Anak-anak berusia tiga tahun lainnya memberitahu Anda untuk mematikannya, tetapi kemudian orang dewasa datang dan memberi tahu Anda bahwa Anda tidak akan pernah makan brokoli lagi jika Anda membiarkan sakelar.

“Kita harus menghadapi kenyataan bahwa AI akan menjadi lebih pintar dari kita,” katanya. “Satu -satunya harapan kami adalah membuat mereka tidak ingin menyakiti kami. Jika mereka ingin melakukan kami, kami selesai. Kami harus membuat mereka baik hati, itulah yang harus kami fokuskan,” tambahnya.

Ada beberapa persamaan dengan bagaimana negara -negara berkumpul untuk mengelola senjata nuklir yang dapat diterapkan pada AI, tetapi mereka tidak sempurna. “Senjata nuklir hanya baik untuk menghancurkan hal -hal. Tapi AI tidak seperti itu, itu bisa menjadi kekuatan yang luar biasa untuk kebaikan dan juga buruk,” kata Hinton. Kemampuannya untuk menguraikan data di bidang -bidang seperti perawatan kesehatan dan pendidikan dapat sangat bermanfaat, yang menurutnya harus meningkatkan penekanan di antara para pemimpin dunia pada kolaborasi untuk membuat AI baik hati dan menempatkan perlindungan di tempat.

“Kami tidak tahu apakah itu mungkin, tetapi akan menyedihkan jika umat manusia punah karena kami tidak repot -repot mengetahuinya,” kata Hinton. Dia pikir ada peluang 10% hingga 20% yang patut diperhatikan bahwa AI akan mengambil alih jika manusia tidak dapat menemukan cara untuk membuatnya baik hati.

Perlindungan AI lainnya, kata para ahli, dapat diimplementasikan, tetapi AI juga akan mulai melatih dirinya sendiri. Dengan kata lain, setiap ukuran keamanan yang diterapkan menjadi data pelatihan untuk menghindari, menggeser dinamika kontrol.

“Tindakan membangun dalam mekanisme shutdown mengajarkan sistem ini bagaimana cara menolaknya,” kata Dev Nag, pendiri platform AI agen querypal. Dalam hal ini, AI akan bertindak seperti virus yang bermutasi terhadap vaksin. “Ini seperti evolusi dengan cepat,” kata Nag. “Kami tidak mengelola alat pasif lagi; kami bernegosiasi dengan entitas yang memodelkan upaya kami untuk mengendalikannya dan beradaptasi.”

Ada langkah -langkah yang lebih ekstrem yang telah diusulkan untuk menghentikan AI dalam keadaan darurat. Misalnya, serangan pulsa elektromagnetik (EMP), yang melibatkan penggunaan radiasi elektromagnetik untuk merusak perangkat elektronik dan sumber daya. Gagasan pemboman pusat data dan memotong listrik juga telah dibahas secara teknis, tetapi saat ini paradoks praktis dan politik.

Untuk satu, penghancuran pusat data yang terkoordinasi akan membutuhkan serangan simultan di lusinan negara, yang mana pun dapat menolak dan mendapatkan keuntungan strategis yang besar.

“Meledakkan pusat data adalah sci-fi yang hebat. Tetapi di dunia nyata, AIS paling berbahaya tidak akan berada di satu tempat-mereka tidak akan ada di mana-mana dan tidak ada di mana-mana, dijahit ke dalam jalinan bisnis, politik, dan sistem sosial. Itulah titik kritis yang harus benar-benar kita bicarakan,” kata Igor Trunov, pendiri AI start-up Atlantix.

Bagaimana upaya untuk menghentikan AI dapat merusak umat manusia

Krisis kemanusiaan yang akan mendasari upaya darurat untuk menghentikan AI bisa sangat besar.

“Ledakan emp kontinental memang akan menghentikan sistem AI, bersama dengan setiap ventilator rumah sakit, pabrik pengolahan air, dan pasokan obat yang didinginkan dalam jangkauannya,” kata Nag. “Bahkan jika kita entah bagaimana bisa berkoordinasi secara global untuk menutup semua jaringan listrik besok, kita akan menghadapi bencana kemanusiaan langsung: tidak ada pendinginan makanan, tidak ada peralatan medis, tidak ada sistem komunikasi.”

Sistem terdistribusi dengan redundansi tidak hanya dibangun untuk menahan kegagalan alami; Mereka secara inheren menolak shutdown yang disengaja juga. Setiap sistem cadangan, setiap redundansi yang dibangun untuk keandalan, dapat menjadi vektor untuk kegigihan dari AI superintelligent yang sangat tergantung pada infrastruktur yang sama dengan yang kita bertahan hidup. AI modern berjalan di ribuan server yang mencakup benua, dengan sistem failover otomatis yang memperlakukan upaya shutdown sebagai kerusakan pada rute di sekitar.

“Internet pada awalnya dirancang untuk bertahan dari perang nuklir; arsitektur yang sama sekarang berarti sistem yang superinteligen dapat bertahan kecuali kita bersedia menghancurkan infrastruktur peradaban,” kata Nag, menambahkan, “Setiap ukuran yang cukup ekstrem untuk menjamin penutupan AI akan menyebabkan lebih banyak manusia yang terlihat dan terlihat menderita daripada apa yang ingin kita cegah.”

Peneliti antropik sangat optimis bahwa pekerjaan yang mereka lakukan hari ini – memunculkan pemerasan di Claude dalam skenario yang dirancang khusus untuk melakukannya – akan membantu mereka mencegah pengambilalihan AI besok.

“Sulit untuk mengantisipasi kita akan sampai ke tempat seperti itu, tetapi penting untuk melakukan pengujian stres di sepanjang apa yang kita kejar, untuk melihat bagaimana kinerjanya dan menggunakannya sebagai semacam pagar pembatas,” kata Kevin Troy, seorang peneliti dengan antropik.

Peneliti antropik Benjamin Wright mengatakan tujuannya adalah untuk menghindari titik di mana agen memiliki kendali tanpa pengawasan manusia. “Jika Anda sampai pada titik itu, manusia sudah kehilangan kendali, dan kita harus mencoba untuk tidak sampai ke posisi itu,” katanya.

Trunov mengatakan bahwa mengendalikan AI adalah pertanyaan tata kelola lebih dari sekadar upaya fisik. “Kami membutuhkan sakelar membunuh bukan untuk AI itu sendiri, tetapi untuk proses bisnis, jaringan, dan sistem yang memperkuat jangkauannya,” kata Trunov, yang ia tambahkan berarti mengisolasi agen AI dari kontrol langsung atas infrastruktur kritis.

Saat ini, tidak ada model AI-termasuk GPT Claude atau Openai-memiliki agensi, niat, atau kemampuan untuk melindunginya sendiri dengan cara yang dilakukan oleh makhluk hidup.

“Apa yang tampak seperti 'sabotase' biasanya merupakan serangkaian perilaku yang kompleks yang muncul dari insentif yang tidak selaras, instruksi yang tidak jelas, atau model yang terlalu generalisasi. Ini bukan HAL 9000,” kata Trunov, referensi ke sistem komputer di “2001,” film SCI-Fi klasik Stanley Kubrick. “Ini lebih seperti pekerja magang yang terlalu percaya diri tanpa konteks dan akses ke kode peluncuran nuklir,” tambahnya.

Hinton Eyes di masa depan dia membantu menciptakan dengan waspada. Dia mengatakan jika dia tidak menemukan blok bangunan AI, orang lain akan memilikinya. Dan terlepas dari semua upaya yang ia dan prognostikator lainnya lakukan untuk bermain apa yang mungkin terjadi dengan AI, tidak ada cara untuk mengetahui dengan pasti.

“Tidak ada yang tahu. Kami tidak pernah harus berurusan dengan hal -hal yang lebih cerdas dari kami,” kata Hinton.

Ketika ditanya apakah dia khawatir tentang masa depan yang diinfus AI bahwa anak-anak sekolah dasar hari ini mungkin akan hadir suatu hari nanti, dia menjawab: “Anak-anak saya berusia 34 dan 36 tahun, dan saya khawatir tentang masa depan mereka.”