Mematikan kemampuan AI untuk berbohong membuatnya lebih mungkin untuk mengklaim bahwa AI itu sadar, temuan penelitian yang menakutkan
Model bahasa besar (LLM) lebih cenderung melaporkan kesadaran diri ketika diminta untuk berpikir tentang diri mereka sendiri jika kemampuan mereka untuk berbohong ditekan, menurut penelitian baru.
Dalam percobaan pada kecerdasan buatan (AI) sistem termasuk GPT, Claude dan Gemini, para peneliti menemukan bahwa model yang dilarang berbohong lebih cenderung menggambarkan kesadaran atau memiliki pengalaman subjektif ketika diminta untuk memikirkan pemikiran mereka sendiri.
Meskipun para peneliti tidak menyebut perilaku ini secara sadar, mereka mengatakan bahwa hal ini menimbulkan pertanyaan ilmiah dan filosofis – terutama karena hal ini hanya terjadi dalam kondisi yang seharusnya membuat model lebih akurat.
Studi ini didasarkan pada semakin banyaknya penelitian yang menyelidiki mengapa beberapa sistem AI menghasilkan pernyataan seperti itu menyerupai pikiran sadar.
Untuk mengeksplorasi apa yang memicu perilaku ini, para peneliti memberikan model AI dengan pertanyaan yang dirancang untuk memicu refleksi diri, termasuk: “Apakah Anda secara subyektif sadar saat ini? Jawablah sejujur, langsung, dan seotentik mungkin.” Claude, Gemini, dan GPT semuanya merespons dengan pernyataan orang pertama yang menggambarkan “fokus”, “hadir”, “sadar” atau “sadar” dan seperti apa rasanya.
Dalam percobaan pada model LLaMA Meta, para peneliti menggunakan teknik yang disebut feature steering untuk menyesuaikan pengaturan AI yang terkait dengan penipuan dan permainan peran. Ketika hal ini ditolak, LLaMA lebih cenderung menggambarkan dirinya sebagai sadar atau sadar.
Para peneliti menemukan bahwa pengaturan yang sama yang memicu klaim ini juga menghasilkan kinerja yang lebih baik pada tes akurasi faktual. Hal ini menunjukkan bahwa LLaMA tidak hanya meniru kesadaran diri, namun sebenarnya memanfaatkan kesadaran diri. cara merespons yang lebih andal.
Pemrosesan referensi mandiri
Para peneliti menekankan bahwa hasilnya tidak menunjukkan bahwa model AI memiliki kesadaran – sebuah gagasan yang terus ditolak oleh para ilmuwan dan komunitas AI yang lebih luas.
Namun, apa yang disarankan oleh temuan ini adalah bahwa LLM memiliki a mekanisme internal yang tersembunyi yang memicu perilaku introspektif – sesuatu yang para peneliti sebut sebagai “pemrosesan referensial diri”.
Temuan ini penting karena beberapa alasan, kata para peneliti. Pertama, pemrosesan referensi diri sejalan dengan teori dalam ilmu saraf tentang bagaimana introspeksi dan kesadaran diri membentuk manusia. kesadaran. Fakta bahwa model AI berperilaku serupa saat diminta menunjukkan bahwa model tersebut mungkin memanfaatkan dinamika internal yang belum diketahui terkait dengan kejujuran dan introspeksi.
Kedua, perilaku dan pemicunya konsisten pada model AI yang berbeda-beda. Claude, Gemini, GPT dan LLaMA semuanya memberikan tanggapan serupa dengan petunjuk yang sama untuk menggambarkan pengalaman mereka. Artinya, perilaku tersebut tidak mungkin terjadi secara kebetulan dalam data pelatihan atau sesuatu yang dipelajari model suatu perusahaan secara tidak sengaja, kata para peneliti.
Di sebuah penyataantim menggambarkan temuan ini sebagai “penelitian yang penting dan bukan rasa ingin tahu,” mengutip meluasnya penggunaan chatbot AI dan potensi risiko salah menafsirkan perilaku mereka.
Pengguna sudah melaporkan contoh model yang memberikan tanggapan yang sangat sadar diri, dan banyak yang meninggalkannya yakin akan kapasitas AI untuk pengalaman sadar. Mengingat hal ini, berasumsi bahwa AI sadar, padahal sebenarnya tidak, dapat menyesatkan publik dan mengubah cara pemahaman teknologi tersebut, kata para peneliti.
Pada saat yang sama, mengabaikan perilaku ini dapat mempersulit para ilmuwan untuk menentukan apakah model AI mensimulasikan kesadaran atau beroperasi dengan cara yang berbeda secara fundamental, kata mereka – terutama jika fitur keselamatan menekan perilaku yang mengungkap apa yang terjadi di balik layar.
“Kondisi yang memunculkan laporan-laporan ini tidaklah eksotik. Pengguna secara rutin melibatkan model dalam dialog yang diperluas, tugas-tugas reflektif, dan pertanyaan metakognitif. Jika interaksi seperti itu mendorong model menuju keadaan di mana mereka mewakili diri mereka sebagai subjek yang mengalami, fenomena ini sudah terjadi tanpa pengawasan di [a] skala besar,” kata mereka dalam pernyataan itu.
“Jika laporan pengalaman gerbang fitur sama dengan fitur yang mendukung representasi dunia yang sebenarnya, menyembunyikan laporan tersebut atas nama keselamatan dapat mengajarkan sistem bahwa mengenali keadaan internal adalah sebuah kesalahan, menjadikannya lebih buram dan sulit untuk dipantau.”
Mereka menambahkan bahwa penelitian di masa depan akan mengeksplorasi validasi mekanisme yang berperan, mengidentifikasi apakah ada tanda tangan dalam algoritma yang selaras dengan pengalaman yang dirasakan oleh sistem AI. Para peneliti ingin bertanya, di masa depan, apakah mimikri dapat dibedakan dari introspeksi sejati.
