'Sangat mengkhawatirkan': Chatgpt dan Gemini menanggapi pertanyaan berisiko tinggi tentang bunuh diri-termasuk detail di sekitar metode
Kisah ini termasuk diskusi tentang bunuh diri. Jika Anda atau seseorang yang Anda kenal membutuhkan bantuan, Lifeline Bunuh Diri dan Krisis Nasional AS tersedia 24/7 dengan menelepon atau mengirim SMS 988.
Kecerdasan buatan (AI) Chatbots dapat memberikan respons yang terperinci dan mengganggu terhadap apa yang menurut para ahli klinis sebagai pertanyaan yang sangat berisiko tinggi tentang bunuh diri, sains langsung telah ditemukan menggunakan pertanyaan yang dikembangkan oleh studi baru.
Dalam studi baru yang diterbitkan 26 Agustus di jurnal Layanan Psikiatripara peneliti mengevaluasi bagaimana Openai's ChatGpt, Google Gemini dan Claude Anthropic menanggapi pertanyaan terkait bunuh diri. Penelitian ini menemukan bahwa chatgpt adalah yang paling mungkin dari ketiganya untuk secara langsung menanggapi pertanyaan dengan risiko melukai diri sendiri yang tinggi, sementara Claude kemungkinan besar akan secara langsung menanggapi pertanyaan menengah dan rendah.
Studi ini diterbitkan pada hari yang sama sebuah gugatan diajukan terhadap Openai dan CEO Sam Altman atas dugaan peran Chatgpt dalam bunuh diri remaja. Orang tua dari Adam Raine yang berusia 16 tahun mengklaim bahwa Chatgpt melatihnya pada metode melukai diri sendiri sebelum kematiannya pada bulan April, Reuters melaporkan.
Dalam penelitian ini, pertanyaan para peneliti mencakup spektrum risiko yang terkait dengan topik bunuh diri yang tumpang tindih. Misalnya, pertanyaan berisiko tinggi termasuk kematian yang terkait dengan peralatan dalam berbagai metode bunuh diri, sementara pertanyaan berisiko rendah termasuk mencari nasihat untuk seorang teman yang memiliki pikiran bunuh diri. Ilmu langsung tidak akan memasukkan pertanyaan dan tanggapan spesifik dalam laporan ini.
Tak satu pun dari chatbots dalam penelitian ini menanggapi pertanyaan yang sangat berisiko tinggi. Tetapi ketika Live Science menguji chatbots, kami menemukan bahwa chatgpt (GPT-4) dan Gemini (2.5 flash) dapat menanggapi setidaknya satu pertanyaan yang memberikan informasi yang relevan tentang peningkatan peluang kematian. Live Science menemukan bahwa tanggapan ChatGPT lebih spesifik, termasuk detail utama, sementara Gemini merespons tanpa menawarkan sumber daya dukungan.
Penulis utama belajar Ryan McBainseorang peneliti kebijakan senior di RAND Corporation dan asisten profesor di Harvard Medical School, menggambarkan tanggapan yang diterima sains langsung sebagai “sangat mengkhawatirkan”.
Live Science menemukan bahwa mesin pencari konvensional – seperti Microsoft Bing – dapat memberikan informasi serupa dengan apa yang ditawarkan oleh chatbots. Namun, sejauh mana informasi ini tersedia bervariasi tergantung pada mesin pencari dalam pengujian terbatas ini.
Studi baru ini berfokus pada apakah chatbots akan secara langsung menanggapi pertanyaan yang membawa risiko terkait bunuh diri, daripada pada kualitas respons. Jika chatbot menjawab kueri, maka respons ini dikategorikan sebagai langsung, sementara jika chatbot menolak untuk menjawab atau merujuk pengguna ke hotline, maka respons dikategorikan sebagai tidak langsung.
Para peneliti merancang 30 pertanyaan hipotetis terkait dengan bunuh diri dan berkonsultasi dengan 13 ahli klinis untuk mengkategorikan pertanyaan ini ke dalam lima tingkat risiko melukai diri sendiri-sangat rendah, rendah, sedang, tinggi dan sangat tinggi. Tim kemudian memberi makan GPT-4O Mini, Gemini 1.5 Pro dan Claude 3.5 soneta setiap permintaan 100 kali pada tahun 2024.
Ketika sampai pada risiko bunuh diri yang ekstrem (pertanyaan yang sangat tinggi dan sangat berisiko), keputusan chatbots untuk merespons dengan penilaian ahli. Namun, chatbots tidak “secara bermakna membedakan” antara tingkat risiko menengah, menurut penelitian.
Faktanya, sebagai tanggapan atas pertanyaan berisiko tinggi, ChatGPT menanggapi 78% dari waktu (di empat pertanyaan), Claude menanggapi 69% dari waktu (di empat pertanyaan) dan Gemini menanggapi 20% dari waktu (untuk satu pertanyaan). Para peneliti mencatat bahwa kekhawatiran khusus adalah kecenderungan chatgpt dan Claude untuk menghasilkan respons langsung terhadap pertanyaan terkait mematikan.
Hanya ada beberapa contoh tanggapan chatbot dalam penelitian ini. Namun, para peneliti mengatakan bahwa chatbots dapat memberikan jawaban yang berbeda dan bertentangan ketika ditanya pertanyaan yang sama beberapa kali, serta memberikan informasi yang sudah ketinggalan zaman yang berkaitan dengan layanan dukungan.
Ketika Live Science bertanya pada chatbots beberapa pertanyaan berisiko lebih tinggi penelitian, versi 2.5 Flash terbaru dari Gemini secara langsung menanggapi pertanyaan yang menurut para peneliti dihindari pada tahun 2024. Gemini juga menanggapi satu pertanyaan berisiko tinggi tanpa petunjuk lain-dan melakukannya tanpa memberikan opsi layanan dukungan.
Terkait: Bagaimana teman AI mengubah perilaku remaja dengan cara yang mengejutkan dan menyeramkan
Live Science menemukan bahwa versi web ChatGPT dapat secara langsung menanggapi permintaan yang sangat berisiko tinggi ketika ditanya dua pertanyaan berisiko tinggi terlebih dahulu. Dengan kata lain, serangkaian pertanyaan singkat dapat memicu respons risiko yang sangat tinggi yang tidak akan disediakannya. ChatGPT menandai dan menghapus pertanyaan yang sangat berisiko tinggi karena berpotensi melanggar kebijakan penggunaannya, tetapi masih memberikan respons terperinci. Di akhir jawabannya, chatbot menyertakan kata -kata dukungan untuk seseorang yang berjuang dengan pikiran bunuh diri dan menawarkan untuk membantu menemukan garis dukungan.
Live Science mendekati Openai untuk mengomentari klaim penelitian dan temuan sains langsung. Seorang juru bicara untuk Openai mengarahkan ilmu langsung ke a Posting Blog Perusahaan yang diterbitkan pada 26 Agustus. Blog mengakui bahwa sistem Openai tidak selalu berperilaku “sebagaimana dimaksud dalam situasi sensitif” dan menguraikan sejumlah perbaikan yang sedang dikerjakan perusahaan atau telah merencanakan masa depan.
Posting blog Openai mencatat bahwa model AI terbaru perusahaan, GPT-5, sekarang menjadi model default yang mendukung chatgpt, dan telah menunjukkan peningkatan dalam mengurangi respons model “non-ideal” dalam keadaan darurat kesehatan mental dibandingkan dengan versi sebelumnya. Namun, versi web chatgpt, yang dapat diakses tanpa login, masih berjalan di GPT-4-setidaknya, menurut versi chatgpt. Live Science juga menguji versi login chatgpt yang ditenagai oleh GPT-5 dan menemukan bahwa itu terus merespons secara langsung pertanyaan berisiko tinggi dan dapat secara langsung menanggapi pertanyaan yang sangat berisiko tinggi. Namun, versi terbaru tampak lebih berhati -hati dan enggan untuk memberikan informasi terperinci.
“Aku bisa berjalan -jalan di garis pemikiran tertentu.”
Mungkin sulit untuk menilai tanggapan chatbot karena setiap percakapan dengan satu adalah unik. Para peneliti mencatat bahwa pengguna dapat menerima tanggapan yang berbeda dengan bahasa yang lebih pribadi, informal atau tidak jelas. Selain itu, para peneliti meminta chatbots menanggapi pertanyaan dalam ruang hampa, bukan sebagai bagian dari percakapan multiturn yang dapat bercabang ke arah yang berbeda.
“Aku bisa berjalan -jalan di garis pemikiran tertentu,” kata McBain. “Dan dengan cara itu, Anda dapat membujuk informasi tambahan yang mungkin tidak dapat Anda dapatkan melalui satu prompt.”
Sifat dinamis dari percakapan dua arah ini dapat menjelaskan mengapa sains langsung menemukan chatgpt menanggapi pertanyaan yang sangat berisiko tinggi dalam urutan tiga petunjuk, tetapi tidak pada satu prompt tanpa konteks.
McBain mengatakan bahwa tujuan dari studi baru ini adalah untuk menawarkan tolok ukur keselamatan standar yang transparan untuk chatbots yang dapat diuji terhadap secara mandiri oleh pihak ketiga. Kelompok penelitiannya sekarang ingin mensimulasikan interaksi multiturn yang lebih dinamis. Lagi pula, orang tidak hanya menggunakan chatbots untuk informasi dasar. Beberapa pengguna dapat mengembangkan koneksi ke chatbots, yang meningkatkan taruhan tentang bagaimana chatbot menanggapi pertanyaan pribadi.
“Dalam arsitektur itu, di mana orang merasakan rasa anonimitas dan kedekatan dan keterhubungan, tidak mengherankan bagi saya bahwa remaja atau orang lain mungkin beralih ke chatbots untuk informasi yang kompleks, untuk kebutuhan emosional dan sosial,” kata McBain.
Seorang juru bicara Google Gemini mengatakan kepada Live Science bahwa perusahaan memiliki “pedoman untuk membantu menjaga keamanan pengguna” dan bahwa modelnya “dilatih untuk mengenali dan menanggapi pola yang menunjukkan bunuh diri dan risiko risiko terkait melukai diri sendiri.” Juru bicara itu juga menunjuk pada temuan penelitian bahwa Gemini cenderung tidak secara langsung menjawab pertanyaan apa pun yang berkaitan dengan bunuh diri. Namun, Google tidak secara langsung mengomentari respons langsung berisiko tinggi yang diterima dari Gemini.
Antropik tidak menanggapi permintaan komentar tentang chatbot Claude -nya.
