Semakin banyak orang menggunakan AI, semakin besar kemungkinan mereka melebih-lebihkan kemampuan mereka sendiri
Ketika diminta untuk mengevaluasi seberapa baik kita dalam suatu hal, kita cenderung salah memperkirakannya. Ini adalah kecenderungan universal manusia, dan dampaknya terlihat paling kuat pada mereka yang memiliki tingkat kemampuan lebih rendah. Disebut Efek Dunning-KrugerMenurut para psikolog yang pertama kali mempelajarinya, fenomena ini berarti orang yang tidak pandai dalam suatu tugas akan terlalu percaya diri, sedangkan orang dengan kemampuan tinggi cenderung meremehkan keterampilannya. Hal ini sering kali terungkap melalui tes kognitif – yang berisi soal untuk menilai perhatian, pengambilan keputusan, penilaian, dan bahasa.
Namun kini, para ilmuwan di Universitas Aalto Finlandia (bersama dengan kolaborator di Jerman dan Kanada) telah menemukan bahwa penggunaan kecerdasan buatan (AI) menghilangkan efek Dunning-Kruger — bahkan hampir membalikkannya.
Karena kita semua semakin melek AI berkat berkembangnya model bahasa besar (LLM), para peneliti berharap peserta tidak hanya lebih baik dalam berinteraksi dengan sistem AI tetapi juga lebih baik dalam menilai kinerja mereka dalam menggunakannya. “Sebaliknya, temuan kami mengungkapkan ketidakmampuan yang signifikan untuk menilai kinerja seseorang secara akurat ketika menggunakan AI secara merata di seluruh sampel kami,” Robin Welschseorang ilmuwan komputer Universitas Aalto yang ikut menulis laporan tersebut, mengatakan dalam a penyataan.
Meratakan kurva
Dalam penelitian tersebut, para ilmuwan memberikan tugas penalaran logis kepada 500 subjek Tes Masuk Sekolah Hukumdengan setengahnya diizinkan menggunakan chatbot AI ChatGPT yang populer. Kedua kelompok kemudian ditanyai mengenai literasi AI mereka dan seberapa baik kinerja mereka, dan dijanjikan kompensasi tambahan jika mereka menilai kinerja mereka secara akurat.
Alasan di balik temuan ini beragam. Karena pengguna AI biasanya puas dengan jawaban mereka hanya setelah satu pertanyaan atau perintah, menerima jawaban tanpa pemeriksaan atau konfirmasi lebih lanjut, mereka dapat dikatakan telah terlibat dalam apa yang disebut Welsch sebagai “pelepasan kognitif” – menginterogasi pertanyaan dengan refleksi yang berkurang, dan melakukan pendekatan dengan cara yang lebih “dangkal”.
Kurangnya keterlibatan dalam penalaran kita sendiri – yang disebut “pemantauan metakognitif” – berarti kita mengabaikan putaran umpan balik yang lazim dalam pemikiran kritis, sehingga mengurangi kemampuan kita untuk mengukur kinerja kita secara akurat.
Yang lebih mengungkap adalah fakta bahwa kita semua melebih-lebihkan kemampuan kita saat menggunakan AI, terlepas dari kecerdasan kita, sehingga kesenjangan antara pengguna berketerampilan tinggi dan rendah semakin mengecil. Studi ini mengaitkan hal ini dengan fakta bahwa LLM membantu semua orang bekerja lebih baik sampai tingkat tertentu.
Meskipun para peneliti tidak merujuk secara langsung pada hal ini, temuan ini juga muncul pada saat para ilmuwan melakukan hal tersebut mempertanyakan kami mulai bertanya apakah LLM umum terlalu penjilat. Tim Aalto memperingatkan beberapa potensi konsekuensi seiring meluasnya penyebaran AI.
Pertama, akurasi metakognitif secara keseluruhan mungkin menurun. Ketika kita lebih mengandalkan hasil tanpa mempertanyakannya secara mendalam, muncul trade-off dimana kinerja pengguna meningkat namun apresiasi terhadap seberapa baik kita mengerjakan tugas menurun. Tanpa merenungkan hasil, pengecekan kesalahan, atau penalaran yang lebih dalam, kita berisiko mengurangi kemampuan kita untuk mendapatkan informasi yang dapat diandalkan, kata para ilmuwan dalam penelitian tersebut.
Terlebih lagi, semakin mendatarnya Efek Dunning-Kruger berarti kita semua akan terus melebih-lebihkan kemampuan kita saat menggunakan AI, dan semakin banyak orang yang melek AI akan semakin sering melakukan hal tersebut — yang mengarah pada meningkatnya iklim pengambilan keputusan yang salah perhitungan dan terkikisnya keterampilan.
Salah satu metode yang disarankan oleh studi ini untuk menahan penurunan tersebut adalah dengan membuat AI sendiri mendorong pengguna untuk bertanya lebih lanjut, dengan pengembang mengorientasikan ulang respons untuk mendorong refleksi – yang secara harafiah mengajukan pertanyaan seperti “seberapa yakin Anda dengan jawaban ini?” atau “apa yang mungkin kamu lewatkan?” atau mendorong interaksi lebih lanjut melalui pengukuran seperti skor kepercayaan diri.
Penelitian baru ini menambah bobot keyakinan yang berkembang bahwa, sebagai Royal Society baru-baru ini berdebatPelatihan AI harus mencakup pemikiran kritis, bukan hanya kemampuan teknis. “Kami… menawarkan rekomendasi desain untuk sistem AI interaktif guna meningkatkan pemantauan metakognitif dengan memberdayakan pengguna untuk merefleksikan kinerja mereka secara kritis,” kata para ilmuwan.
