Model bahasa penglihatan berbasis AI saat ini dapat memahami konten dengan sangat baik, tetapi mereka mencapai batasan mereka dalam proses ilmiah yang lebih kompleks. Ini ditunjukkan oleh studi baru oleh para peneliti di Friedrich Schiller University Jena, yang dilakukan dengan mitra internasional dan diterbitkan dalam jurnal 'Nature Computational Science'. Dalam karya ini, para peneliti secara sistematis memeriksa untuk pertama kalinya seberapa baik model AI modern dapat memproses informasi visual dan tekstual dalam ilmu kimia dan material.
Metode evaluasi inovatif untuk AI
“Studi kami membahas masalah utama dalam penelitian AI: bagaimana kami dapat mengevaluasi sistem multimodal secara adil ketika tidak jelas data mana yang telah dilihat model selama pelatihan?” Menjelaskan Dr Kevin Maik Jablonka, kepala kelompok penelitian junior Carl Zeiss di Universitas Friedrich Schiller Jena dan di Helmholtz Institute for Polymer in Energy Applications (Hipole) di Jena, yang menggambarkan inovasi metodologis. Metode evaluasi yang dikembangkan memungkinkan, untuk pertama kalinya, analisis sistematis dari kekuatan dan kelemahan sistem AI saat ini dalam aplikasi ilmiah.
“Sistem AI multimodal yang dapat memahami teks dan gambar dipandang sebagai masa depan sistem asisten ilmiah,” Jablonka menambahkan. “Kami ingin mengetahui apakah model -model ini benar -benar memiliki potensi untuk mendukung peneliti dalam pekerjaan sehari -hari mereka – dari analisis literatur hingga evaluasi data.”
Lebih dari seribu tugas dari praktik ilmiah sehari -hari
Untuk menguji kemampuan AI multimodal, tim internasional mengembangkan kerangka evaluasi 'MacBench' (https://macbench.lamalab.org), yang terdiri dari lebih dari 1.100 tugas realistis dari tiga bidang utama pekerjaan ilmiah: mengekstraksi data dari literatur, memahami eksperimen laboratorium dan simulasi, dan menginterpretasikan percobaan pengukuran. Tes berkisar dari menganalisis data spektroskopi dan menilai keamanan laboratorium untuk menafsirkan struktur kristal.
Tim memeriksa model AI terkemuka untuk kemampuan mereka untuk memahami dan menghubungkan informasi ilmiah. “Berbeda dengan model teks murni, sistem ini harus dapat memproses informasi visual dan tekstual secara bersamaan – kemampuan inti untuk karya ilmiah,” Jablonka menjelaskan.
Keberhasilan pada tugas sederhana, kelemahan dalam penalaran yang kompleks
Hasilnya menyajikan gambaran yang bernuansa: sementara model AI dengan andal diakui peralatan laboratorium dan mengekstraksi data standar hampir dengan sempurna, mereka menunjukkan kelemahan mendasar dalam analisis spasial dan dalam mengintegrasikan informasi dari sumber yang berbeda. “Sangat mengejutkan bahwa informasi yang sama diproses secara nyata lebih baik ketika disajikan sebagai teks daripada sebagai gambar,” Laporan Jablonka. “Ini menunjukkan bahwa integrasi tipe data yang berbeda belum berfungsi secara optimal.”
Perlu dicatat bahwa kinerja model berkorelasi kuat dengan frekuensi bahan uji di internet. “Ini menunjukkan bahwa model terkadang mengandalkan pengenalan pola dari data pelatihan daripada mengembangkan pemahaman ilmiah yang asli,” kata peneliti.
Yayasan untuk sistem asisten AI yang lebih baik
Wawasan ini dapat menguntungkan pengembangan asisten AI ilmiah di masa depan: “Sebelum sistem tersebut dapat digunakan secara andal dalam penelitian, persepsi spasial mereka dan integrasi berbagai jenis informasi harus ditingkatkan secara fundamental,” Jablonka menyimpulkan. “Pekerjaan kami menunjukkan cara konkret untuk mengatasi tantangan ini dan meningkatkan alat AI untuk ilmu alam.”
