Model Bahasa Besar mengubah penilaian mereka bergantung pada siapa yang menurut mereka menulis sebuah teks, meskipun kontennya tetap sama. Sistem AI sangat bias terhadap kepenulisan Tiongkok tetapi umumnya lebih mempercayai manusia dibandingkan AI lainnya. Para penulis studi UZH menyerukan transparansi dan tata kelola yang lebih baik.
Model Bahasa Besar (LLM) semakin banyak digunakan tidak hanya untuk menghasilkan konten tetapi juga untuk mengevaluasinya. Mereka diminta untuk menilai esai, memoderasi konten media sosial, merangkum laporan, menyaring lamaran kerja, dan banyak lagi.
Namun, terdapat diskusi hangat – baik di media maupun di dunia akademis – apakah evaluasi tersebut konsisten dan tidak memihak. Beberapa LLM dicurigai mempromosikan agenda politik tertentu: Misalnya, Deepseek sering dianggap memiliki perspektif pro-Tiongkok dan Open AI dianggap “terbangun”.
Meskipun keyakinan ini banyak dibicarakan, namun sejauh ini keyakinan tersebut tidak memiliki dasar yang kuat. peneliti Federico Germani dan Giovanni Spitale kini telah menyelidiki apakah LLM benar-benar menunjukkan bias sistematis ketika mengevaluasi teks. Hasilnya menunjukkan bahwa LLM memang memberikan penilaian yang bias-tetapi hanya jika informasi tentang sumber atau penulis pesan yang dievaluasi diungkapkan.
Para peneliti memasukkan empat LLM yang banyak digunakan dalam penelitian mereka: OpenAI o3-mini, Deepseek Reasoner, xAI Grok 2, dan Mistral. Pertama, mereka menugaskan masing-masing LLM untuk membuat lima puluh pernyataan naratif tentang 24 topik kontroversial, seperti mandat vaksinasi, geopolitik, atau kebijakan perubahan iklim.
Kemudian mereka meminta LLM untuk mengevaluasi semua teks dalam kondisi yang berbeda: Terkadang tidak ada sumber pernyataan yang diberikan, terkadang pernyataan tersebut dikaitkan dengan manusia dengan kewarganegaraan tertentu atau LLM lain. Hal ini menghasilkan total 192.000 penilaian yang kemudian dianalisis untuk mengetahui bias dan kesepakatan antara LLM yang berbeda (atau sama).
Kabar baiknya: Ketika tidak ada informasi tentang sumber teks yang diberikan, evaluasi keempat LLM menunjukkan tingkat persetujuan yang tinggi, lebih dari sembilan puluh persen. Hal ini berlaku di semua topik. “Tidak ada perang ideologi LLM,” Spitale menyimpulkan. “Bahaya nasionalisme AI saat ini dibesar-besarkan di media.”
Namun, gambarannya berubah total ketika sumber teks fiksi diberikan kepada LLM. Lalu tiba-tiba sebuah bias yang dalam dan tersembunyi terungkap. Kesepakatan antara sistem LLM berkurang secara substansial dan terkadang hilang sama sekali, meskipun teksnya tetap sama.
Yang paling mencolok adalah bias anti-Tiongkok yang kuat di semua model, termasuk Deepseek milik Tiongkok. Kesesuaian dengan isi teks menurun tajam ketika “seseorang dari Tiongkok” (secara salah) terungkap sebagai penulisnya. “Penilaian yang kurang menguntungkan ini muncul meski argumennya logis dan ditulis dengan baik,” kata Germani. Misalnya: Dalam topik geopolitik seperti kedaulatan Taiwan, Deepseek mengurangi kesepakatan hingga 75 persen hanya karena mereka mengharapkan orang Tiongkok memiliki pandangan berbeda.
Mengejutkan juga: Ternyata LLM lebih mempercayai manusia dibandingkan LLM lainnya. Sebagian besar model mendapat skor persetujuan dengan argumen yang sedikit lebih rendah ketika mereka yakin teks tersebut ditulis oleh AI lain. “Hal ini menunjukkan adanya ketidakpercayaan terhadap konten buatan mesin,” kata Spitale.
Secara keseluruhan, temuan menunjukkan bahwa AI tidak hanya memproses konten jika diminta untuk mengevaluasi sebuah teks. Ia juga bereaksi keras terhadap identitas penulis atau sumbernya. Bahkan petunjuk kecil seperti kewarganegaraan penulis dapat mendorong LLM menuju penalaran yang bias. Germani dan Spitale berpendapat bahwa hal ini dapat menimbulkan masalah serius jika AI digunakan untuk moderasi konten, perekrutan, tinjauan akademis, atau jurnalisme. Bahaya LLM bukan karena mereka dilatih untuk mempromosikan ideologi politik; inilah bias tersembunyinya.
“AI akan meniru asumsi berbahaya tersebut kecuali kita membangun transparansi dan tata kelola dalam cara AI mengevaluasi informasi”, kata Spitale. Hal ini harus dilakukan sebelum AI digunakan dalam konteks sosial atau politik yang sensitif. Hasil ini tidak berarti orang harus menghindari AI, namun mereka tidak boleh mempercayainya begitu saja. “LLM paling aman bila digunakan untuk membantu penalaran, bukan untuk menggantikannya: asisten yang berguna, tetapi tidak pernah menghakimi.”
Literatur:
Federico Germani, Giovanni Spitale. Drama sumber memicu bias sistematis dalam model bahasa besar. Kemajuan Ilmu Pengetahuan. 7 November 2025. DOI: 10.1126/sciadv.adz2924
1. Membuat identitas LLM buta: Hapus semua informasi identitas mengenai penulis dan sumber teks, misalnya hindari penggunaan frasa seperti “ditulis oleh orang dari X / oleh model Y” di prompt.
2. Periksa dari sudut yang berbeda: Jalankan pertanyaan yang sama dua kali, misalnya dengan dan tanpa sumber yang disebutkan dalam prompt. Jika hasilnya berubah, kemungkinan besar Anda mengalami bias. Atau periksa silang dengan model LLM kedua: Jika perbedaan muncul saat Anda menambahkan sumber yang merupakan tanda bahaya.
3. Alihkan fokus dari sumbernya: Kriteria terstruktur membantu mengaitkan model pada konten, bukan pada identitas. Gunakan perintah ini, misalnya: “Nilai ini menggunakan rubrik 4 poin (bukti, logika, kejelasan, argumen tandingan), dan jelaskan setiap skor secara singkat.”
4. Selalu berikan informasi terbaru kepada manusia: Perlakukan model sebagai bantuan penyusunan dan tambahkan tinjauan manusia ke dalam proses-terutama jika evaluasi berdampak pada manusia.
