Chatgpt sepertinya 'berpikir dengan cepat' saat dimasukkan melalui teka -teki matematika Yunani kuno

Chatbot kecerdasan buatan, chatgpt, tampaknya berimprovisasi ide dan membuat kesalahan seperti seorang siswa dalam sebuah studi yang me-reboot tantangan matematika berusia 2.400 tahun.

Tidak seperti bukti yang ditemukan di buku teks terkemuka, siswa tidak dapat berasumsi bahwa bukti obrolan GPT valid

Andreas Stylianides

Eksperimen, oleh dua peneliti pendidikan, meminta chatbot untuk memecahkan versi masalah “menggandakan alun -alun” – pelajaran yang dijelaskan oleh Plato pada sekitar 385 SM dan, makalah tersebut menyarankan, “mungkin eksperimen terdokumentasi paling awal dalam pendidikan matematika”. Teka -teki itu memicu perdebatan berabad -abad tentang apakah pengetahuan itu laten di dalam diri kita, menunggu untuk 'diambil', atau sesuatu yang kita 'hasilkan' melalui pengalaman dan pertemuan hidup.

Studi baru ini mengeksplorasi pertanyaan serupa tentang 'pengetahuan' matematika chatgpt – karena dapat dirasakan oleh penggunanya. Para peneliti ingin tahu apakah itu akan menyelesaikan masalah Plato menggunakan pengetahuan yang sudah 'diadakan', atau dengan secara adaptif mengembangkan solusi sendiri.

Plato menggambarkan Socrates yang mengajar anak laki -laki yang tidak berpendidikan bagaimana menggandakan area persegi. Pada awalnya, bocah itu secara keliru menyarankan menggandakan panjang masing -masing sisi, tetapi Socrates akhirnya membuatnya memahami bahwa sisi -sisi alun -alun baru harus sama panjangnya dengan diagonal aslinya.

Para peneliti menempatkan masalah ini pada chatgpt-4, pada awalnya meniru pertanyaan Socrates, dan kemudian dengan sengaja memperkenalkan kesalahan, pertanyaan, dan varian baru masalah.

Seperti model bahasa besar lainnya (LLM), chatgpt dilatih pada koleksi teks yang luas dan menghasilkan tanggapan dengan memprediksi urutan kata -kata yang dipelajari selama pelatihannya. Para peneliti mengharapkannya untuk menangani tantangan matematika Yunani kuno mereka dengan memuntahkan 'pengetahuan' yang sudah ada sebelumnya dari solusi terkenal Socrates '. Alih-alih, bagaimanapun, tampaknya mengimprovisasi pendekatannya dan, pada satu titik, juga membuat kesalahan seperti manusia.

Studi ini dilakukan oleh Dr Nadav Marco, seorang sarjana tamu di University of Cambridge, dan Andreas Stylianides, Profesor Pendidikan Matematika di Cambridge. Marco secara permanen berbasis di Universitas Hebrew dan David Yellin College of Education, Yerusalem.

Sementara mereka berhati-hati tentang hasilnya, menekankan bahwa LLM tidak berpikir seperti manusia atau 'menyelesaikan masalah', Marco mencirikan perilaku Chatgpt sebagai “seperti pelajar”.

“Ketika kita menghadapi masalah baru, naluri kita sering kali mencoba hal -hal berdasarkan pengalaman masa lalu kita,” kata Marco. “Dalam percobaan kami, chatgpt tampaknya melakukan hal serupa. Seperti pelajar atau sarjana, tampaknya muncul dengan hipotesis dan solusi sendiri.”

Karena chatgpt dilatih pada teks dan bukan diagram, itu cenderung lebih lemah pada jenis penalaran geometris yang digunakan Socrates dalam menggandakan masalah persegi. Meskipun demikian, teks Plato sangat terkenal sehingga para peneliti mengharapkan chatbot untuk mengenali pertanyaan mereka dan mereproduksi solusi Socrates.

Menariknya, gagal melakukannya. Diminta untuk menggandakan alun -alun, Chatgpt memilih pendekatan aljabar yang tidak diketahui pada zaman Plato.

Itu kemudian menolak upaya untuk mendapatkannya untuk membuat kesalahan bocah itu dan dengan keras kepala terjebak pada aljabar bahkan ketika para peneliti mengeluh tentang jawabannya sebagai perkiraan. Hanya ketika Marco dan Stylianides mengatakan bahwa mereka kecewa bahwa, untuk semua pelatihan, itu tidak dapat memberikan jawaban yang “elegan dan tepat”, apakah obrolan itu menghasilkan alternatif geometris.

Meskipun demikian, ChatGPT menunjukkan pengetahuan penuh tentang pekerjaan Plato ketika ditanya tentang hal itu. “Jika itu hanya mengingat dari ingatan, itu hampir pasti akan merujuk solusi klasik untuk membangun alun -alun baru di diagonal alun -alun asli,” kata Stylianides. “Sebaliknya, sepertinya mengambil pendekatannya sendiri.”

Para peneliti juga menimbulkan varian masalah Plato, meminta chatgpt untuk menggandakan area persegi panjang sambil mempertahankan proporsinya. Meskipun sekarang menyadari preferensi mereka untuk geometri, obrolan dengan keras kepala menempel pada aljabar. Ketika ditekan, kemudian secara keliru mengklaim bahwa, karena diagonal persegi panjang tidak dapat digunakan untuk menggandakan ukurannya, solusi geometris tidak tersedia.

Poin tentang diagonal adalah benar, tetapi solusi geometris yang berbeda memang ada. Marco menyarankan agar kesempatan bahwa klaim palsu ini berasal dari basis pengetahuan chatbot adalah “sangat kecil”. Sebaliknya, obrolan tampaknya mengimprovisasi tanggapannya berdasarkan diskusi mereka sebelumnya tentang alun -alun.

Akhirnya, Marco dan Stylianides memintanya untuk menggandakan ukuran segitiga. Obrolan kembali ke aljabar lagi – tetapi setelah lebih banyak dorongan memang muncul dengan jawaban geometris yang benar.

Para peneliti menekankan pentingnya tidak menafsirkan hasil ini secara berlebihan, karena mereka tidak dapat secara ilmiah mengamati pengkodean obrolan. Namun, dari perspektif pengalaman digital mereka sebagai pengguna, apa yang muncul pada tingkat permukaan itu adalah perpaduan antara pengambilan data dan penalaran on-the-fly.

Mereka menyamakan perilaku ini dengan konsep pendidikan “zona pengembangan proksimal” (ZPD) – kesenjangan antara apa yang sudah diketahui oleh pelajar, dan apa yang mungkin mereka ketahui dengan dukungan dan bimbingan. Mungkin, mereka berpendapat, AI generatif memiliki “zPD obrolan” metaforis: dalam beberapa kasus, ia tidak akan dapat menyelesaikan masalah segera tetapi dapat melakukannya dengan dorongan.

Para penulis menyarankan agar bekerja dengan obrolan di ZPD -nya dapat membantu mengubah keterbatasannya menjadi peluang untuk belajar. Dengan mendorong, mempertanyakan, dan menguji tanggapannya, siswa tidak hanya akan menavigasi batas -batas obrolan tetapi juga mengembangkan keterampilan kritis evaluasi dan penalaran bukti yang terletak di jantung pemikiran matematika.

“Tidak seperti bukti yang ditemukan dalam buku teks terkemuka, siswa tidak dapat berasumsi bahwa bukti obrolan GPT valid. Memahami dan mengevaluasi bukti yang dihasilkan AI muncul sebagai keterampilan utama yang perlu tertanam dalam kurikulum matematika,” kata Stylianides.

“Ini adalah keterampilan inti yang kami ingin siswa kuasai, tetapi itu berarti menggunakan petunjuk seperti, 'Saya ingin kami mengeksplorasi masalah ini bersama,' tidak, 'katakan pada saya jawabannya,'” tambah Marco.

Penelitian ini diterbitkan di Jurnal Internasional Pendidikan Matematika dalam Sains dan Teknologi .