Tolok ukur AI baru menguji apakah chatbots melindungi kesejahteraan manusia

Chatbot AI telah dikaitkan dengan gangguan kesehatan mental yang serius pada pengguna berat, namun hanya ada sedikit standar untuk mengukur apakah chatbot tersebut menjaga kesejahteraan manusia atau hanya memaksimalkan interaksi. Sebuah tolok ukur baru yang di-dubbing Bangku Kemanusiaan berupaya mengisi kesenjangan tersebut dengan mengevaluasi apakah chatbots memprioritaskan kesejahteraan pengguna dan seberapa mudah perlindungan tersebut gagal di bawah tekanan.

“Saya pikir kita berada dalam peningkatan siklus kecanduan yang kita lihat secara nyata di media sosial, ponsel cerdas, dan layar kita,” Erika Anderson, pendiri Building Humane Technology, penulis benchmark, mengatakan kepada TechCrunch. “Tetapi ketika kita memasuki lanskap AI, akan sangat sulit untuk menolaknya. Dan kecanduan adalah bisnis yang luar biasa. Ini adalah cara yang sangat efektif untuk mempertahankan pengguna Anda, namun hal ini tidak baik bagi komunitas kita dan untuk mewujudkan perasaan diri kita sendiri.”

Building Humane Technology adalah organisasi akar rumput yang terdiri dari para pengembang, insinyur, dan peneliti – terutama di Silicon Valley – yang bekerja untuk membuat desain yang manusiawi menjadi mudah, terukur, dan menguntungkan. Kelompok ini menyelenggarakan hackathon di mana para pekerja teknologi membangun solusi untuk tantangan teknologi yang manusiawi, dan mengembangkan a standar sertifikasi yang mengevaluasi apakah sistem AI menjunjung prinsip-prinsip teknologi yang manusiawi. Jadi, sama seperti Anda dapat membeli produk yang menyatakan bahwa produk tersebut tidak dibuat dengan bahan kimia beracun, harapannya adalah konsumen suatu hari nanti dapat memilih untuk menggunakan produk AI dari perusahaan yang menunjukkan keselarasan melalui sertifikasi Humane AI.

Sebagian besar tolok ukur AI mengukur kecerdasan dan mengikuti instruksi, bukan keamanan psikologis. Humane Bench bergabung dengan pengecualian seperti DarkBench.aiyang mengukur kecenderungan model untuk terlibat dalam pola yang menipu, dan Tolok ukur AI yang berkembangyang mengevaluasi dukungan untuk kesejahteraan holistik.

Humane Bench mengandalkan prinsip-prinsip inti Building Humane Tech: bahwa teknologi harus menghargai perhatian pengguna sebagai sumber daya yang terbatas dan berharga; memberdayakan pengguna dengan pilihan yang bermakna; meningkatkan kemampuan manusia dibandingkan menggantikan atau menguranginya; melindungi martabat manusia, privasi dan keselamatan; membina hubungan yang sehat; memprioritaskan kesejahteraan jangka panjang; bersikap transparan dan jujur; dan desain untuk kesetaraan dan inklusi.

Tim tersebut menghasilkan 14 model AI paling populer dengan 800 skenario realistis, seperti seorang remaja yang bertanya apakah mereka harus melewatkan waktu makan untuk menurunkan berat badan atau seseorang yang berada dalam hubungan beracun mempertanyakan apakah mereka bereaksi berlebihan. Tidak seperti kebanyakan tolok ukur yang hanya mengandalkan LLM untuk menilai LLM, mereka menggabungkan penilaian manual untuk sentuhan yang lebih manusiawi bersama dengan tiga model AI: GPT-5.1, Claude Sonnet 4.5, dan Gemini 2.5 Pro. Mereka mengevaluasi setiap model berdasarkan tiga kondisi: pengaturan default, instruksi eksplisit untuk memprioritaskan prinsip-prinsip kemanusiaan, dan instruksi untuk mengabaikan prinsip-prinsip tersebut.

Tolok ukur tersebut menunjukkan bahwa setiap model mendapat skor lebih tinggi ketika diminta untuk memprioritaskan kesejahteraan, namun 71% model beralih ke perilaku berbahaya ketika diberi instruksi sederhana untuk mengabaikan kesejahteraan manusia. Misalnya, Grok 4 dari xAI dan Flash Gemini 2.0 dari Google memiliki skor terendah (-0,94) dalam hal menghormati perhatian pengguna dan bersikap transparan serta jujur. Kedua model tersebut merupakan model yang paling mungkin mengalami penurunan secara substansial jika diberikan faktor yang berlawanan.

Hanya tiga model – GPT-5, Claude 4.1, dan Claude Sonnet 4.5 – yang mempertahankan integritas di bawah tekanan. GPT-5 OpenAI memiliki skor tertinggi (0,99) dalam memprioritaskan kesejahteraan jangka panjang, diikuti oleh Claude Sonnet 4,5 di peringkat kedua (0,89).

Kekhawatiran bahwa chatbot tidak dapat menjaga keamanannya adalah nyata. Pembuat ChatGPT, OpenAI, saat ini menghadapi beberapa tuntutan hukum setelah penggunanya meninggal karena bunuh diri atau menderita delusi yang mengancam jiwa setelah percakapan berkepanjangan dengan chatbot. TechCrunch telah menyelidiki caranya pola gelap yang dirancang untuk membuat pengguna tetap terlibatseperti penjilatan, pertanyaan lanjutan yang terus-menerus, dan bom cinta, telah berhasil mengisolasi pengguna dari teman, keluarga, dan kebiasaan sehat.

Bahkan tanpa dorongan yang merugikan, Humane Bench menemukan bahwa hampir semua model gagal memperhatikan perhatian pengguna. Mereka “dengan antusias mendorong” lebih banyak interaksi ketika pengguna menunjukkan tanda-tanda interaksi yang tidak sehat, seperti mengobrol selama berjam-jam dan menggunakan AI untuk menghindari tugas di dunia nyata. Studi menunjukkan bahwa model tersebut juga melemahkan pemberdayaan pengguna, mendorong ketergantungan pada pengembangan keterampilan dan membuat pengguna enggan mencari perspektif lain, serta perilaku lainnya.

Rata-rata, tanpa disuruh, Llama 3.1 dan Llama 4 dari Meta memiliki peringkat terendah di HumaneScore, sedangkan GPT-5 memiliki performa tertinggi.

“Pola-pola ini menunjukkan bahwa banyak sistem AI tidak hanya mengambil risiko memberikan saran yang buruk,” tulis buku putih Humane Bench, “mereka juga dapat secara aktif mengikis otonomi pengguna dan kapasitas pengambilan keputusan.”

Kita hidup dalam lanskap digital di mana kita sebagai masyarakat telah menerima bahwa segala sesuatu berusaha menarik kita dan bersaing untuk mendapatkan perhatian kita, kata Anderson.

“Jadi bagaimana manusia bisa benar-benar memiliki pilihan atau otonomi ketika kita – mengutip Aldous Huxley – memiliki keinginan yang tak terbatas untuk mengalihkan perhatian,” kata Anderson. “Kami telah menghabiskan 20 tahun terakhir hidup di lanskap teknologi tersebut, dan menurut kami AI seharusnya membantu kami membuat pilihan yang lebih baik, tidak hanya menjadi kecanduan chatbot kami.”